การถดถอยเวกเตอร์สนับสนุน
- ผู้เสนอ
- Smola, A.J. & Schölkopf, B.
- ปี
- 2004
- ประเภท
- Kernel-based supervised model (epsilon-insensitive regression)
ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ
ใช้ทำอะไร?
Support Vector Regression (SVR) ซึ่งอธิบายไว้ในบทความสอนของ Smola และ Schölkopf (2004) ทำนายผลลัพธ์ต่อเนื่องโดยการปรับฟังก์ชันที่อยู่ในขอบเขตของท่อที่มีความกว้าง epsilon รอบข้อมูล โดยมีข้อผิดพลาดน้อยที่สุดเท่าที่จะเป็นไปได้ เป็นการขยายแนวคิดของ support vector machine จากการจำแนกประเภทไปสู่การถดถอย โดยใช้เคอร์เนลเพื่อจับความสัมพันธ์ที่ไม่เป็นเชิงเส้น
แนวคิดเบื้องหลังวิธีการ
แทนที่จะลงโทษทุกความเบี่ยงเบนจากเส้นที่ปรับค่าแล้ว SVR จะไม่สนใจข้อผิดพลาดที่น้อยกว่าค่าความคลาดเคลื่อน epsilon — โดยจะสร้างท่อที่มีความกว้าง epsilon รอบฟังก์ชันที่ทำนาย และเฉพาะจุดที่อยู่นอกท่อเท่านั้นที่จะถูกนับว่าผิดพลาด แบบจำลองจะค้นหาฟังก์ชันที่ราบเรียบที่สุดเท่าที่จะเป็นไปได้ซึ่งทำให้จุดส่วนใหญ่อยู่ภายในท่อ จุดจำนวนน้อยที่อยู่บนหรือนอกขอบท่อจะกลายเป็นเวกเตอร์สนับสนุนที่กำหนดการทำนาย
ประวัติศาสตร์
Support Vector Regression เป็นการขยายผลของ support vector machine ซึ่งเดิมเป็นวิธีการจำแนกประเภท ไปสู่ภารกิจการถดถอย สูตรแบบ epsilon-insensitive และการแก้ปัญหาแบบ kernelised ได้ถูกนำเสนอในบทความสอนของ Smola และ Schölkopf (2004) ในสาขา Statistics and Computing ซึ่งได้กลายเป็นแหล่งอ้างอิงมาตรฐานสำหรับวิธีการนี้
ควรใช้เมื่อใด
ใช้ SVR สำหรับการทำนายผลลัพธ์ต่อเนื่อง (หรือจำนวนนับ) จากคุณลักษณะ เมื่อความสัมพันธ์อาจไม่เป็นเชิงเส้นและคุณมีข้อมูลการสังเกตอย่างน้อยประมาณ 50 รายการ คุณลักษณะต้องได้รับการทำให้เป็นมาตรฐาน และเคอร์เนลกับพารามิเตอร์ C จำเป็นต้องได้รับการปรับแต่ง ด้วยจำนวนกรณีที่น้อยกว่า 50 รายการ การทำนายจะขึ้นอยู่กับเวกเตอร์สนับสนุนไม่เพียงพอและไม่เสถียร ดังนั้น การถดถอยแบบ ridge หรือแบบเชิงเส้นจึงเป็นที่ต้องการมากกว่า
ข้อจำกัดและข้อควรพิจารณา
- ต้องการข้อมูลการสังเกตอย่างน้อยประมาณ 50 รายการ หากน้อยกว่านั้น การทำนายจะขึ้นอยู่กับเวกเตอร์สนับสนุนไม่เพียงพอและไม่เสถียร
- ประสิทธิภาพขึ้นอยู่กับการปรับแต่งเคอร์เนลและพารามิเตอร์ C ซึ่งต้องใช้ข้อมูลการตรวจสอบไขว้ (cross-validation) ที่เพียงพอ
- คุณลักษณะต้องได้รับการทำให้เป็นมาตรฐานล่วงหน้า มิฉะนั้นระยะห่างของเคอร์เนลจะบิดเบือน
- ไม่มีสัมประสิทธิ์ที่สามารถตีความได้
เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้
จุดแข็ง
- การสูญเสียแบบ epsilon-insensitive ทำให้การปรับค่ามีความทนทานต่อความเบี่ยงเบนเล็กน้อยและค่าผิดปกติภายในท่อ
- เคอร์เนลช่วยให้ SVR สามารถสร้างแบบจำลองความสัมพันธ์ที่ไม่เป็นเชิงเส้นได้โดยไม่ต้องสร้างคุณลักษณะใหม่โดยชัดแจ้ง
- ไม่จำเป็นต้องมีข้อมูลที่กระจายตัวแบบปกติ
- แบบจำลองสุดท้ายขึ้นอยู่กับเวกเตอร์สนับสนุนเท่านั้น ทำให้การทำนายมีขนาดกะทัดรัด
การประยุกต์ใช้
- การทำนายผลลัพธ์ต่อเนื่องที่ความสัมพันธ์กับคุณลักษณะไม่เป็นเชิงเส้น
- งานพยากรณ์และการคาดการณ์ที่ความทนทานต่อความเบี่ยงเบนเล็กน้อยมีความสำคัญ
- การสร้างแบบจำลองเป้าหมายที่เป็นจำนวนนับหรือต่อเนื่องในข้อมูลสุขภาพ สังคม วิศวกรรม และธุรกิจ
- การใช้เป็นทางเลือกที่ใช้เคอร์เนลแทนการถดถอยเชิงเส้นหรือแบบ ridge เมื่อสงสัยว่ามีความสัมพันธ์ไม่เป็นเชิงเส้น
วิธีการทำงาน
วิธีการทำงาน
SVR กำหนดขอบเขตความคลาดเคลื่อน ซึ่งก็คือ epsilon-tube รอบฟังก์ชันการถดถอย: ความเบี่ยงเบนภายใน epsilon จะถือว่าไม่มีข้อผิดพลาดเลย ทำให้การปรับค่าไม่ไวต่อความผันผวนเล็กน้อย และมุ่งเน้นแบบจำลองไปที่การสังเกตที่อยู่นอกแถบจริงๆ
สูตร
|y_i - f(x_i)| \le \varepsilon
แบบจำลองจะสร้างสมดุลระหว่างความราบเรียบของฟังก์ชันกับข้อผิดพลาดที่เกิดจากจุดที่อยู่นอกท่อ พารามิเตอร์การทำให้เป็นปกติ C ควบคุมว่าการเบี่ยงเบนที่อยู่นอกท่อจะถูกลงโทษอย่างหนักเพียงใด ในขณะที่เคอร์เนล (เช่น RBF kernel) ช่วยให้ฟังก์ชันโค้งงอเพื่อจับโครงสร้างที่ไม่เป็นเชิงเส้น เนื่องจากทั้ง C และเคอร์เนลต้องได้รับการปรับแต่ง คุณลักษณะควรได้รับการทำให้เป็นมาตรฐานก่อนทำการปรับค่า
สูตร
\min \tfrac{1}{2}\lVert w\rVert^2 + C\sum_i (\xi_i + \xi_i^*)การทำนายสำหรับอินพุตใหม่จะถูกสร้างขึ้นเป็นการรวมกันของเวกเตอร์สนับสนุน (support vectors) ซึ่งเป็นจุดฝึกที่อยู่บนหรือเกินขอบท่อ บวกกับค่าออฟเซ็ต เฉพาะเวกเตอร์สนับสนุนเหล่านี้เท่านั้นที่จะเข้าสู่การทำนายสุดท้าย ซึ่งเป็นสิ่งที่ทำให้แบบจำลองที่ปรับค่าแล้วมีขนาดกะทัดรัด
สูตร
f(x) = \sum_i (\alpha_i - \alpha_i^*) k(x_i, x) + b
ข้อผิดพลาดที่พบบ่อย
- การปรับค่า SVR บนคุณลักษณะที่ไม่ได้ทำให้เป็นมาตรฐาน ซึ่งทำให้ระยะห่างของเคอร์เนลบิดเบือน
- การยอมรับค่าเคอร์เนลและ C เริ่มต้นโดยไม่ได้ปรับแต่งด้วยการตรวจสอบไขว้
- การใช้ SVR กับกลุ่มตัวอย่างขนาดเล็กซึ่งมีข้อมูลไม่เพียงพอสำหรับการปรับพารามิเตอร์เหนือ (hyperparameter optimisation)
- การปฏิบัติต่อการปรับค่าตามเคอร์เนลเสมือนว่าให้ขนาดผลกระทบที่สามารถตีความได้
คำถามที่พบบ่อย
พารามิเตอร์ epsilon ควบคุมอะไร?
Epsilon กำหนดครึ่งความกว้างของท่อความคลาดเคลื่อนรอบฟังก์ชันที่ปรับค่าแล้ว ความเบี่ยงเบนที่น้อยกว่า epsilon จะถือว่าไม่มีข้อผิดพลาดเลย ดังนั้น epsilon ที่ใหญ่ขึ้นจะให้แบบจำลองที่ราบเรียบและง่ายขึ้นโดยมีเวกเตอร์สนับสนุนน้อยลง ในขณะที่ epsilon ที่เล็กลงจะปรับค่าให้เข้ากับข้อมูลอย่างใกล้ชิดยิ่งขึ้น
ทำไมฉันต้องทำให้คุณลักษณะเป็นมาตรฐาน?
SVR อาศัยการคำนวณระยะห่างผ่านเคอร์เนล หากคุณลักษณะมีมาตราส่วนที่แตกต่างกันมาก คุณลักษณะที่มีช่วงกว้างกว่าจะครอบงำระยะห่าง ดังนั้นคุณลักษณะควรได้รับการทำให้เป็นมาตรฐานก่อนทำการปรับค่า
กลุ่มตัวอย่างเล็กแค่ไหนถึงจะเล็กเกินไป?
ด้วยข้อมูลการสังเกตน้อยกว่าประมาณ 50 รายการ การปรับค่าจะขึ้นอยู่กับเวกเตอร์สนับสนุนไม่เพียงพอและไม่เสถียร และมีข้อมูลไม่เพียงพอสำหรับการปรับแต่งไฮเปอร์พารามิเตอร์ของเคอร์เนล การถดถอยแบบ ridge หรือแบบเชิงเส้นจึงเป็นทางเลือกที่ปลอดภัยกว่า
SVR แตกต่างจาก ordinary least squares อย่างไร?
Least squares ลงโทษทุกส่วนที่เหลือ (residual) เป็นกำลังสอง ในขณะที่ SVR จะไม่สนใจส่วนที่เหลือภายใน epsilon-tube และลงโทษเฉพาะส่วนที่อยู่นอกท่อเท่านั้น เมื่อรวมกับเคอร์เนล สิ่งนี้ช่วยให้ SVR สามารถจับความสัมพันธ์ที่ไม่เป็นเชิงเส้นและทนทานต่อความเบี่ยงเบนเล็กน้อย
วิธีการที่เกี่ยวข้อง
แหล่งอ้างอิง
Smola, A.J. & Schölkopf, B. (2004). A Tutorial on Support Vector Regression. Statistics and Computing, 14, 199–222.
เปิดเอกสารอ้างอิง DOIคัดลอกแล้ว