การจำแนกประเภทด้วยเครื่องเวกเตอร์สนับสนุน (Support Vector Machine - Classification)
- ผู้เสนอ
- Cortes, C. & Vapnik, V.
- ปี
- 1995
- ประเภท
- Maximum-margin classifier (kernel method)
ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ
ใช้ทำอะไร?
เครื่องเวกเตอร์สนับสนุน (Support Vector Machine - SVM) ซึ่งนำเสนอโดย Corinna Cortes และ Vladimir Vapnik ในปี 1995 เป็นตัวจำแนกประเภทที่ค้นหาไฮเปอร์เพลน (hyperplane) ที่แบ่งคลาสต่างๆ ได้ดีที่สุดในปริภูมิที่มีมิติสูง โดยเลือกขอบเขตที่เว้นระยะห่าง (margin) กว้างที่สุดเท่าที่จะเป็นไปได้ไปยังจุดข้อมูลฝึกหัดที่ใกล้ที่สุด ซึ่งทำให้การตัดสินใจมีความทนทานต่อข้อมูลใหม่
แนวคิดเบื้องหลังวิธีการ
ลองนึกภาพการแยกกลุ่มข้อมูลสองกลุ่มด้วยเส้นแบ่งตรง มีเส้นหลายเส้นที่สามารถทำได้ แต่ SVM จะมองหาเส้นที่อยู่ห่างจากจุดที่ใกล้ที่สุดของแต่ละคลาสมากที่สุด นั่นคือ 'ถนน' ที่กว้างที่สุดระหว่างพวกมัน เฉพาะจุดที่ใกล้ที่สุดเหล่านั้น ซึ่งก็คือเวกเตอร์สนับสนุน (support vectors) เท่านั้นที่มีผลต่อการกำหนดขอบเขต ส่วนข้อมูลที่อยู่ไกลออกไปจะไม่มีผล เมื่อไม่สามารถแยกคลาสด้วยเส้นตรงได้ เคอร์เนล (kernel) จะปรับเปลี่ยนปริภูมิเพื่อให้สามารถแยกได้อย่างชัดเจน
ประวัติศาสตร์
เครื่องเวกเตอร์สนับสนุน (Support Vector Machine - SVM) ถูกนำเสนอโดย Corinna Cortes และ Vladimir Vapnik ในบทความปี 1995 ของพวกเขาเรื่อง 'Support-Vector Networks' ซึ่งเป็นการผสมผสานแนวคิดเรื่องระยะห่างสูงสุดเข้ากับเทคนิคเคอร์เนลเพื่อจัดการกับข้อมูลที่ไม่สามารถแยกเชิงเส้นได้ กลายเป็นหนึ่งในวิธีการจำแนกประเภทที่มีอิทธิพลมากที่สุดในยุคนั้น และเป็นเกณฑ์มาตรฐานสำหรับการเรียนรู้แบบมีผู้สอน (supervised learning) ในปริภูมิที่มีมิติสูง
ควรใช้เมื่อใด
ใช้ SVM สำหรับการจำแนกประเภทแบบทวิภาค (binary) หรือแบบจำแนกหลายประเภท (categorical) บนข้อมูลแบบตาราง (tabular data) ที่มีจำนวนตัวอย่างประมาณ 50 ตัวอย่างขึ้นไป โดยเฉพาะอย่างยิ่งเมื่อปริภูมิคุณลักษณะมีมิติสูง และความแม่นยำในการทำนายมีความสำคัญมากกว่าสัมประสิทธิ์ที่ชัดเจน ไม่จำเป็นต้องใช้ข้อมูลที่มีการแจกแจงแบบปกติ (normally distributed) แต่คุณลักษณะต้องได้รับการปรับมาตรฐาน และต้องปรับแต่งเคอร์เนลและ C ผ่านการตรวจสอบไขว้ สำหรับข้อมูลตัวอย่างขนาดเล็กมาก ควรเลือกตัวจำแนกประเภทที่ง่ายกว่า เช่น การถดถอยโลจิสติก (logistic regression) หรือเบย์แบบนาอีฟ (naive Bayes)
ข้อจำกัดและข้อควรพิจารณา
- มีความอ่อนไหวต่อการเลือกเคอร์เนลและพารามิเตอร์ C ซึ่งต้องปรับแต่งผ่านการตรวจสอบไขว้
- ต้องการการปรับมาตรฐานคุณลักษณะอย่างระมัดระวัง คุณลักษณะที่ไม่ได้ปรับมาตรฐานจะทำให้ระยะห่างผิดเพี้ยน
- ไม่เสถียรเมื่อใช้กับข้อมูลตัวอย่างขนาดเล็ก ซึ่งมีเวกเตอร์สนับสนุนน้อยเกินไปที่จะกำหนดขอบเขตที่เชื่อถือได้
- ไม่มีสัมประสิทธิ์ที่ตีความได้โดยตรงและไม่มีการประมาณค่าความน่าจะเป็นของคลาสโดยธรรมชาติ
เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้
จุดแข็ง
- มีประสิทธิภาพในปริภูมิคุณลักษณะที่มีมิติสูง แม้ว่าจะมีคุณลักษณะมากกว่าที่ความซับซ้อนของขอบเขตจะบ่งชี้
- หลักการระยะห่างสูงสุดและการใช้เฉพาะเวกเตอร์สนับสนุนทำให้ได้ขอบเขตที่ทนทานและสามารถสรุปผลได้ดี
- เคอร์เนลช่วยให้สามารถจับขอบเขตคลาสที่ไม่ใช่เชิงเส้นได้โดยไม่ต้องสร้างคุณลักษณะใหม่ด้วยตนเอง
- ข้อสมมติฐานน้อย: ไม่จำเป็นต้องใช้ข้อมูลที่มีการแจกแจงแบบปกติ
การประยุกต์ใช้
- การจำแนกประเภทแบบทวิภาคและหลายคลาสบนข้อมูลแบบตาราง
- ปัญหาการจำแนกประเภทในปริภูมิคุณลักษณะที่มีมิติสูง ซึ่งจำนวนคุณลักษณะมีมากกว่าความสามารถของแบบจำลองอย่างง่าย
- งานทำนายที่ขอบเขตการตัดสินใจที่ทนทานและแบ่งแยกได้ดีมีความสำคัญมากกว่าสัมประสิทธิ์ที่ตีความได้
- ปัญหาที่มีขอบเขตคลาสที่ไม่ใช่เชิงเส้น ซึ่งแก้ไขได้ด้วยฟังก์ชันเคอร์เนล
วิธีการทำงาน
วิธีการทำงาน
SVM ค้นหาไฮเปอร์เพลนที่แบ่งคลาสต่างๆ ด้วยระยะห่างที่มากที่สุด นั่นคือระยะห่างที่ใหญ่ที่สุดไปยังจุดข้อมูลที่ใกล้ที่สุดในแต่ละด้าน จุดที่ใกล้ที่สุดเหล่านั้นคือเวกเตอร์สนับสนุน และพวกมันเพียงอย่างเดียวเป็นตัวกำหนดตำแหน่งของขอบเขต ระยะห่างที่กว้างมักจะทำให้สามารถสรุปผลไปยังข้อมูลที่ไม่เคยเห็นได้ดีกว่าขอบเขตที่ถูกบีบให้ใกล้กับจุดข้อมูลฝึกหัด
เมื่อคลาสไม่สามารถแยกเชิงเส้นได้ ฟังก์ชันเคอร์เนล (เช่น ฟังก์ชันฐานรัศมี - radial basis function) จะทำการแปลงคุณลักษณะ (features) ไปยังปริภูมิที่มีมิติสูงขึ้นโดยปริยาย ซึ่งมีไฮเปอร์เพลนที่แบ่งคลาสอยู่จริง นี่คือเหตุผลที่ต้องทำการปรับมาตรฐานคุณลักษณะก่อน (จำเป็นต้องใช้ StandardScaler) และเหตุผลที่ต้องเลือกเคอร์เนลและพารามิเตอร์การทำให้เป็นระเบียบ C ผ่านการตรวจสอบไขว้ (cross-validation)
ขอบเขตจะถูกค้นหาโดยการลดค่าฟังก์ชันวัตถุประสงค์ (objective function) ข้างต้น: มันจะลดขนาดของเวกเตอร์น้ำหนัก (weight vector) (ทำให้ระยะห่างกว้างขึ้น) ในขณะที่ต้องจ่ายค่าปรับ C สำหรับแต่ละจุดที่ตกอยู่ด้านผิดหรือภายในระยะห่าง (ความหย่อน - slack ξ) ค่า C ที่มากต้องการการปรับให้เข้ากับข้อมูลฝึกหัดอย่างแม่นยำ ในขณะที่ค่า C ที่น้อยยอมรับการละเมิดได้มากขึ้นเพื่อขอบเขตที่กว้างและราบรื่นกว่า เมื่อคลาสไม่สมดุล การตั้งค่า class_weight='balanced' จะช่วยป้องกันไม่ให้คลาสส่วนน้อยถูกละเลย
สูตร
\min_{w,b}\; \tfrac{1}{2}\lVert w\rVert^2 + C\sum_i \xi_iข้อผิดพลาดที่พบบ่อย
- การปรับ SVM บนคุณลักษณะดิบที่ไม่ได้ปรับมาตรฐาน แทนที่จะปรับมาตรฐานก่อน
- การยอมรับค่าเคอร์เนลและ C เริ่มต้น แทนที่จะเลือกด้วยการตรวจสอบไขว้ (เช่น grid search)
- การละเลยความไม่สมดุลของคลาส แทนที่จะตั้งค่า class_weight='balanced'
- การใช้ SVM กับข้อมูลตัวอย่างที่มีจำนวนน้อยกว่าประมาณ 50 ตัวอย่าง ซึ่งขอบเขตไม่เสถียรและมีแนวโน้มที่จะเกิดการปรับให้เหมาะสมเกิน (overfitting)
- การรายงานเฉพาะความแม่นยำ (accuracy) โดยไม่มีเมทริกซ์ความสับสน (confusion matrix), ความแม่น (precision)/การเรียกคืน (recall)/ค่า F1 (F1-score), และค่า ROC-AUC
คำถามที่พบบ่อย
ทำไมฉันต้องปรับมาตรฐานคุณลักษณะ?
SVM วัดระยะห่างไปยังไฮเปอร์เพลนที่แบ่งคลาส ดังนั้นคุณลักษณะที่มีสเกลตัวเลขที่ใหญ่กว่าจะมีอิทธิพลต่อระยะห่าง การปรับมาตรฐานคุณลักษณะแต่ละรายการ (StandardScaler) จะทำให้คุณลักษณะอยู่ในสเกลที่เปรียบเทียบกันได้ เพื่อให้ขอบเขตสะท้อนโครงสร้างคลาสที่แท้จริง แทนที่จะเป็นหน่วยที่ไม่มีนัยสำคัญ
พารามิเตอร์ C ควบคุมอะไร?
C เป็นการแลกเปลี่ยนระหว่างความกว้างของระยะห่างกับข้อผิดพลาดในการจำแนกประเภท ค่า C ที่มากบังคับให้ปรับเข้ากับข้อมูลฝึกหัดอย่างแม่นยำด้วยระยะห่างที่แคบ ในขณะที่ค่า C ที่น้อยยอมให้มีการละเมิดระยะห่างมากขึ้นเพื่อแลกกับขอบเขตที่กว้างและราบรื่นกว่า ค่าที่เหมาะสมจะพบได้ผ่านการตรวจสอบไขว้
เคอร์เนลมีไว้เพื่ออะไร?
เมื่อคลาสไม่สามารถแยกได้ด้วยขอบเขตที่เป็นเส้นตรง เคอร์เนล (เช่น ฟังก์ชันฐานรัศมี) จะทำการแปลงข้อมูลไปยังปริภูมิที่มีมิติสูงขึ้นโดยปริยาย ซึ่งมีไฮเปอร์เพลนที่แบ่งคลาสอยู่จริง ทำให้ SVM สามารถสร้างแบบจำลองขอบเขตที่ไม่ใช่เชิงเส้นได้ การเลือกเคอร์เนลควรได้รับการตรวจสอบความถูกต้องผ่านการตรวจสอบไขว้
ฉันไม่ควรใช้ SVM เมื่อใด?
เมื่อใช้กับข้อมูลตัวอย่างขนาดเล็กมาก - น้อยกว่าประมาณ 50 ตัวอย่าง - จะมีเวกเตอร์สนับสนุนน้อยเกินไปที่จะกำหนดขอบเขตที่เสถียร และมีข้อมูลไม่เพียงพอที่จะปรับแต่งเคอร์เนลและ C ดังนั้นแบบจำลองจึงมีความเสี่ยงที่จะเกิดการปรับให้เหมาะสมเกิน ในกรณีนั้น ควรเลือกตัวจำแนกประเภทที่ง่ายกว่า เช่น การถดถอยโลจิสติก หรือเบย์แบบนาอีฟ
วิธีการที่เกี่ยวข้อง
แหล่งอ้างอิง
Cortes, C. & Vapnik, V. (1995). Support-Vector Networks. Machine Learning, 20, 273–297.
เปิดเอกสารอ้างอิง DOIคัดลอกแล้ว