Skip to content
กลับไปยังผลการค้นหา

การจำแนกประเภทด้วยเครื่องเวกเตอร์สนับสนุน (Support Vector Machine - Classification)

ผู้เสนอ
Cortes, C. & Vapnik, V.
ปี
1995
ประเภท
Maximum-margin classifier (kernel method)

ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ

ขนาดตัวอักษร

ใช้ทำอะไร?

เครื่องเวกเตอร์สนับสนุน (Support Vector Machine - SVM) ซึ่งนำเสนอโดย Corinna Cortes และ Vladimir Vapnik ในปี 1995 เป็นตัวจำแนกประเภทที่ค้นหาไฮเปอร์เพลน (hyperplane) ที่แบ่งคลาสต่างๆ ได้ดีที่สุดในปริภูมิที่มีมิติสูง โดยเลือกขอบเขตที่เว้นระยะห่าง (margin) กว้างที่สุดเท่าที่จะเป็นไปได้ไปยังจุดข้อมูลฝึกหัดที่ใกล้ที่สุด ซึ่งทำให้การตัดสินใจมีความทนทานต่อข้อมูลใหม่

แนวคิดเบื้องหลังวิธีการ

ลองนึกภาพการแยกกลุ่มข้อมูลสองกลุ่มด้วยเส้นแบ่งตรง มีเส้นหลายเส้นที่สามารถทำได้ แต่ SVM จะมองหาเส้นที่อยู่ห่างจากจุดที่ใกล้ที่สุดของแต่ละคลาสมากที่สุด นั่นคือ 'ถนน' ที่กว้างที่สุดระหว่างพวกมัน เฉพาะจุดที่ใกล้ที่สุดเหล่านั้น ซึ่งก็คือเวกเตอร์สนับสนุน (support vectors) เท่านั้นที่มีผลต่อการกำหนดขอบเขต ส่วนข้อมูลที่อยู่ไกลออกไปจะไม่มีผล เมื่อไม่สามารถแยกคลาสด้วยเส้นตรงได้ เคอร์เนล (kernel) จะปรับเปลี่ยนปริภูมิเพื่อให้สามารถแยกได้อย่างชัดเจน

ประวัติศาสตร์

เครื่องเวกเตอร์สนับสนุน (Support Vector Machine - SVM) ถูกนำเสนอโดย Corinna Cortes และ Vladimir Vapnik ในบทความปี 1995 ของพวกเขาเรื่อง 'Support-Vector Networks' ซึ่งเป็นการผสมผสานแนวคิดเรื่องระยะห่างสูงสุดเข้ากับเทคนิคเคอร์เนลเพื่อจัดการกับข้อมูลที่ไม่สามารถแยกเชิงเส้นได้ กลายเป็นหนึ่งในวิธีการจำแนกประเภทที่มีอิทธิพลมากที่สุดในยุคนั้น และเป็นเกณฑ์มาตรฐานสำหรับการเรียนรู้แบบมีผู้สอน (supervised learning) ในปริภูมิที่มีมิติสูง

ควรใช้เมื่อใด

ใช้ SVM สำหรับการจำแนกประเภทแบบทวิภาค (binary) หรือแบบจำแนกหลายประเภท (categorical) บนข้อมูลแบบตาราง (tabular data) ที่มีจำนวนตัวอย่างประมาณ 50 ตัวอย่างขึ้นไป โดยเฉพาะอย่างยิ่งเมื่อปริภูมิคุณลักษณะมีมิติสูง และความแม่นยำในการทำนายมีความสำคัญมากกว่าสัมประสิทธิ์ที่ชัดเจน ไม่จำเป็นต้องใช้ข้อมูลที่มีการแจกแจงแบบปกติ (normally distributed) แต่คุณลักษณะต้องได้รับการปรับมาตรฐาน และต้องปรับแต่งเคอร์เนลและ C ผ่านการตรวจสอบไขว้ สำหรับข้อมูลตัวอย่างขนาดเล็กมาก ควรเลือกตัวจำแนกประเภทที่ง่ายกว่า เช่น การถดถอยโลจิสติก (logistic regression) หรือเบย์แบบนาอีฟ (naive Bayes)

ข้อจำกัดและข้อควรพิจารณา

  • มีความอ่อนไหวต่อการเลือกเคอร์เนลและพารามิเตอร์ C ซึ่งต้องปรับแต่งผ่านการตรวจสอบไขว้
  • ต้องการการปรับมาตรฐานคุณลักษณะอย่างระมัดระวัง คุณลักษณะที่ไม่ได้ปรับมาตรฐานจะทำให้ระยะห่างผิดเพี้ยน
  • ไม่เสถียรเมื่อใช้กับข้อมูลตัวอย่างขนาดเล็ก ซึ่งมีเวกเตอร์สนับสนุนน้อยเกินไปที่จะกำหนดขอบเขตที่เชื่อถือได้
  • ไม่มีสัมประสิทธิ์ที่ตีความได้โดยตรงและไม่มีการประมาณค่าความน่าจะเป็นของคลาสโดยธรรมชาติ

เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้

จุดแข็ง

  • มีประสิทธิภาพในปริภูมิคุณลักษณะที่มีมิติสูง แม้ว่าจะมีคุณลักษณะมากกว่าที่ความซับซ้อนของขอบเขตจะบ่งชี้
  • หลักการระยะห่างสูงสุดและการใช้เฉพาะเวกเตอร์สนับสนุนทำให้ได้ขอบเขตที่ทนทานและสามารถสรุปผลได้ดี
  • เคอร์เนลช่วยให้สามารถจับขอบเขตคลาสที่ไม่ใช่เชิงเส้นได้โดยไม่ต้องสร้างคุณลักษณะใหม่ด้วยตนเอง
  • ข้อสมมติฐานน้อย: ไม่จำเป็นต้องใช้ข้อมูลที่มีการแจกแจงแบบปกติ

การประยุกต์ใช้

  • การจำแนกประเภทแบบทวิภาคและหลายคลาสบนข้อมูลแบบตาราง
  • ปัญหาการจำแนกประเภทในปริภูมิคุณลักษณะที่มีมิติสูง ซึ่งจำนวนคุณลักษณะมีมากกว่าความสามารถของแบบจำลองอย่างง่าย
  • งานทำนายที่ขอบเขตการตัดสินใจที่ทนทานและแบ่งแยกได้ดีมีความสำคัญมากกว่าสัมประสิทธิ์ที่ตีความได้
  • ปัญหาที่มีขอบเขตคลาสที่ไม่ใช่เชิงเส้น ซึ่งแก้ไขได้ด้วยฟังก์ชันเคอร์เนล

วิธีการทำงาน

วิธีการทำงาน

1

SVM ค้นหาไฮเปอร์เพลนที่แบ่งคลาสต่างๆ ด้วยระยะห่างที่มากที่สุด นั่นคือระยะห่างที่ใหญ่ที่สุดไปยังจุดข้อมูลที่ใกล้ที่สุดในแต่ละด้าน จุดที่ใกล้ที่สุดเหล่านั้นคือเวกเตอร์สนับสนุน และพวกมันเพียงอย่างเดียวเป็นตัวกำหนดตำแหน่งของขอบเขต ระยะห่างที่กว้างมักจะทำให้สามารถสรุปผลไปยังข้อมูลที่ไม่เคยเห็นได้ดีกว่าขอบเขตที่ถูกบีบให้ใกล้กับจุดข้อมูลฝึกหัด

2

เมื่อคลาสไม่สามารถแยกเชิงเส้นได้ ฟังก์ชันเคอร์เนล (เช่น ฟังก์ชันฐานรัศมี - radial basis function) จะทำการแปลงคุณลักษณะ (features) ไปยังปริภูมิที่มีมิติสูงขึ้นโดยปริยาย ซึ่งมีไฮเปอร์เพลนที่แบ่งคลาสอยู่จริง นี่คือเหตุผลที่ต้องทำการปรับมาตรฐานคุณลักษณะก่อน (จำเป็นต้องใช้ StandardScaler) และเหตุผลที่ต้องเลือกเคอร์เนลและพารามิเตอร์การทำให้เป็นระเบียบ C ผ่านการตรวจสอบไขว้ (cross-validation)

3

ขอบเขตจะถูกค้นหาโดยการลดค่าฟังก์ชันวัตถุประสงค์ (objective function) ข้างต้น: มันจะลดขนาดของเวกเตอร์น้ำหนัก (weight vector) (ทำให้ระยะห่างกว้างขึ้น) ในขณะที่ต้องจ่ายค่าปรับ C สำหรับแต่ละจุดที่ตกอยู่ด้านผิดหรือภายในระยะห่าง (ความหย่อน - slack ξ) ค่า C ที่มากต้องการการปรับให้เข้ากับข้อมูลฝึกหัดอย่างแม่นยำ ในขณะที่ค่า C ที่น้อยยอมรับการละเมิดได้มากขึ้นเพื่อขอบเขตที่กว้างและราบรื่นกว่า เมื่อคลาสไม่สมดุล การตั้งค่า class_weight='balanced' จะช่วยป้องกันไม่ให้คลาสส่วนน้อยถูกละเลย

สูตร
\min_{w,b}\; \tfrac{1}{2}\lVert w\rVert^2 + C\sum_i \xi_i

ข้อผิดพลาดที่พบบ่อย

  • การปรับ SVM บนคุณลักษณะดิบที่ไม่ได้ปรับมาตรฐาน แทนที่จะปรับมาตรฐานก่อน
  • การยอมรับค่าเคอร์เนลและ C เริ่มต้น แทนที่จะเลือกด้วยการตรวจสอบไขว้ (เช่น grid search)
  • การละเลยความไม่สมดุลของคลาส แทนที่จะตั้งค่า class_weight='balanced'
  • การใช้ SVM กับข้อมูลตัวอย่างที่มีจำนวนน้อยกว่าประมาณ 50 ตัวอย่าง ซึ่งขอบเขตไม่เสถียรและมีแนวโน้มที่จะเกิดการปรับให้เหมาะสมเกิน (overfitting)
  • การรายงานเฉพาะความแม่นยำ (accuracy) โดยไม่มีเมทริกซ์ความสับสน (confusion matrix), ความแม่น (precision)/การเรียกคืน (recall)/ค่า F1 (F1-score), และค่า ROC-AUC

คำถามที่พบบ่อย

ทำไมฉันต้องปรับมาตรฐานคุณลักษณะ?

SVM วัดระยะห่างไปยังไฮเปอร์เพลนที่แบ่งคลาส ดังนั้นคุณลักษณะที่มีสเกลตัวเลขที่ใหญ่กว่าจะมีอิทธิพลต่อระยะห่าง การปรับมาตรฐานคุณลักษณะแต่ละรายการ (StandardScaler) จะทำให้คุณลักษณะอยู่ในสเกลที่เปรียบเทียบกันได้ เพื่อให้ขอบเขตสะท้อนโครงสร้างคลาสที่แท้จริง แทนที่จะเป็นหน่วยที่ไม่มีนัยสำคัญ

พารามิเตอร์ C ควบคุมอะไร?

C เป็นการแลกเปลี่ยนระหว่างความกว้างของระยะห่างกับข้อผิดพลาดในการจำแนกประเภท ค่า C ที่มากบังคับให้ปรับเข้ากับข้อมูลฝึกหัดอย่างแม่นยำด้วยระยะห่างที่แคบ ในขณะที่ค่า C ที่น้อยยอมให้มีการละเมิดระยะห่างมากขึ้นเพื่อแลกกับขอบเขตที่กว้างและราบรื่นกว่า ค่าที่เหมาะสมจะพบได้ผ่านการตรวจสอบไขว้

เคอร์เนลมีไว้เพื่ออะไร?

เมื่อคลาสไม่สามารถแยกได้ด้วยขอบเขตที่เป็นเส้นตรง เคอร์เนล (เช่น ฟังก์ชันฐานรัศมี) จะทำการแปลงข้อมูลไปยังปริภูมิที่มีมิติสูงขึ้นโดยปริยาย ซึ่งมีไฮเปอร์เพลนที่แบ่งคลาสอยู่จริง ทำให้ SVM สามารถสร้างแบบจำลองขอบเขตที่ไม่ใช่เชิงเส้นได้ การเลือกเคอร์เนลควรได้รับการตรวจสอบความถูกต้องผ่านการตรวจสอบไขว้

ฉันไม่ควรใช้ SVM เมื่อใด?

เมื่อใช้กับข้อมูลตัวอย่างขนาดเล็กมาก - น้อยกว่าประมาณ 50 ตัวอย่าง - จะมีเวกเตอร์สนับสนุนน้อยเกินไปที่จะกำหนดขอบเขตที่เสถียร และมีข้อมูลไม่เพียงพอที่จะปรับแต่งเคอร์เนลและ C ดังนั้นแบบจำลองจึงมีความเสี่ยงที่จะเกิดการปรับให้เหมาะสมเกิน ในกรณีนั้น ควรเลือกตัวจำแนกประเภทที่ง่ายกว่า เช่น การถดถอยโลจิสติก หรือเบย์แบบนาอีฟ

วิธีการที่เกี่ยวข้อง

แหล่งอ้างอิง

  1. Cortes, C. & Vapnik, V. (1995). Support-Vector Networks. Machine Learning, 20, 273–297.

    เปิดเอกสารอ้างอิง DOI
    คัดลอกแล้ว