Skip to content
กลับไปยังผลการค้นหา

การถดถอยเวกเตอร์สนับสนุน

ผู้เสนอ
Smola, A.J. & Schölkopf, B.
ปี
2004
ประเภท
Kernel-based supervised model (epsilon-insensitive regression)

ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ

ขนาดตัวอักษร

ใช้ทำอะไร?

Support Vector Regression (SVR) ซึ่งอธิบายไว้ในบทความสอนของ Smola และ Schölkopf (2004) ทำนายผลลัพธ์ต่อเนื่องโดยการปรับฟังก์ชันที่อยู่ในขอบเขตของท่อที่มีความกว้าง epsilon รอบข้อมูล โดยมีข้อผิดพลาดน้อยที่สุดเท่าที่จะเป็นไปได้ เป็นการขยายแนวคิดของ support vector machine จากการจำแนกประเภทไปสู่การถดถอย โดยใช้เคอร์เนลเพื่อจับความสัมพันธ์ที่ไม่เป็นเชิงเส้น

แนวคิดเบื้องหลังวิธีการ

แทนที่จะลงโทษทุกความเบี่ยงเบนจากเส้นที่ปรับค่าแล้ว SVR จะไม่สนใจข้อผิดพลาดที่น้อยกว่าค่าความคลาดเคลื่อน epsilon — โดยจะสร้างท่อที่มีความกว้าง epsilon รอบฟังก์ชันที่ทำนาย และเฉพาะจุดที่อยู่นอกท่อเท่านั้นที่จะถูกนับว่าผิดพลาด แบบจำลองจะค้นหาฟังก์ชันที่ราบเรียบที่สุดเท่าที่จะเป็นไปได้ซึ่งทำให้จุดส่วนใหญ่อยู่ภายในท่อ จุดจำนวนน้อยที่อยู่บนหรือนอกขอบท่อจะกลายเป็นเวกเตอร์สนับสนุนที่กำหนดการทำนาย

ประวัติศาสตร์

Support Vector Regression เป็นการขยายผลของ support vector machine ซึ่งเดิมเป็นวิธีการจำแนกประเภท ไปสู่ภารกิจการถดถอย สูตรแบบ epsilon-insensitive และการแก้ปัญหาแบบ kernelised ได้ถูกนำเสนอในบทความสอนของ Smola และ Schölkopf (2004) ในสาขา Statistics and Computing ซึ่งได้กลายเป็นแหล่งอ้างอิงมาตรฐานสำหรับวิธีการนี้

ควรใช้เมื่อใด

ใช้ SVR สำหรับการทำนายผลลัพธ์ต่อเนื่อง (หรือจำนวนนับ) จากคุณลักษณะ เมื่อความสัมพันธ์อาจไม่เป็นเชิงเส้นและคุณมีข้อมูลการสังเกตอย่างน้อยประมาณ 50 รายการ คุณลักษณะต้องได้รับการทำให้เป็นมาตรฐาน และเคอร์เนลกับพารามิเตอร์ C จำเป็นต้องได้รับการปรับแต่ง ด้วยจำนวนกรณีที่น้อยกว่า 50 รายการ การทำนายจะขึ้นอยู่กับเวกเตอร์สนับสนุนไม่เพียงพอและไม่เสถียร ดังนั้น การถดถอยแบบ ridge หรือแบบเชิงเส้นจึงเป็นที่ต้องการมากกว่า

ข้อจำกัดและข้อควรพิจารณา

  • ต้องการข้อมูลการสังเกตอย่างน้อยประมาณ 50 รายการ หากน้อยกว่านั้น การทำนายจะขึ้นอยู่กับเวกเตอร์สนับสนุนไม่เพียงพอและไม่เสถียร
  • ประสิทธิภาพขึ้นอยู่กับการปรับแต่งเคอร์เนลและพารามิเตอร์ C ซึ่งต้องใช้ข้อมูลการตรวจสอบไขว้ (cross-validation) ที่เพียงพอ
  • คุณลักษณะต้องได้รับการทำให้เป็นมาตรฐานล่วงหน้า มิฉะนั้นระยะห่างของเคอร์เนลจะบิดเบือน
  • ไม่มีสัมประสิทธิ์ที่สามารถตีความได้

เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้

จุดแข็ง

  • การสูญเสียแบบ epsilon-insensitive ทำให้การปรับค่ามีความทนทานต่อความเบี่ยงเบนเล็กน้อยและค่าผิดปกติภายในท่อ
  • เคอร์เนลช่วยให้ SVR สามารถสร้างแบบจำลองความสัมพันธ์ที่ไม่เป็นเชิงเส้นได้โดยไม่ต้องสร้างคุณลักษณะใหม่โดยชัดแจ้ง
  • ไม่จำเป็นต้องมีข้อมูลที่กระจายตัวแบบปกติ
  • แบบจำลองสุดท้ายขึ้นอยู่กับเวกเตอร์สนับสนุนเท่านั้น ทำให้การทำนายมีขนาดกะทัดรัด

การประยุกต์ใช้

  • การทำนายผลลัพธ์ต่อเนื่องที่ความสัมพันธ์กับคุณลักษณะไม่เป็นเชิงเส้น
  • งานพยากรณ์และการคาดการณ์ที่ความทนทานต่อความเบี่ยงเบนเล็กน้อยมีความสำคัญ
  • การสร้างแบบจำลองเป้าหมายที่เป็นจำนวนนับหรือต่อเนื่องในข้อมูลสุขภาพ สังคม วิศวกรรม และธุรกิจ
  • การใช้เป็นทางเลือกที่ใช้เคอร์เนลแทนการถดถอยเชิงเส้นหรือแบบ ridge เมื่อสงสัยว่ามีความสัมพันธ์ไม่เป็นเชิงเส้น

วิธีการทำงาน

วิธีการทำงาน

1

SVR กำหนดขอบเขตความคลาดเคลื่อน ซึ่งก็คือ epsilon-tube รอบฟังก์ชันการถดถอย: ความเบี่ยงเบนภายใน epsilon จะถือว่าไม่มีข้อผิดพลาดเลย ทำให้การปรับค่าไม่ไวต่อความผันผวนเล็กน้อย และมุ่งเน้นแบบจำลองไปที่การสังเกตที่อยู่นอกแถบจริงๆ

สูตร
|y_i - f(x_i)| \le \varepsilon
2

แบบจำลองจะสร้างสมดุลระหว่างความราบเรียบของฟังก์ชันกับข้อผิดพลาดที่เกิดจากจุดที่อยู่นอกท่อ พารามิเตอร์การทำให้เป็นปกติ C ควบคุมว่าการเบี่ยงเบนที่อยู่นอกท่อจะถูกลงโทษอย่างหนักเพียงใด ในขณะที่เคอร์เนล (เช่น RBF kernel) ช่วยให้ฟังก์ชันโค้งงอเพื่อจับโครงสร้างที่ไม่เป็นเชิงเส้น เนื่องจากทั้ง C และเคอร์เนลต้องได้รับการปรับแต่ง คุณลักษณะควรได้รับการทำให้เป็นมาตรฐานก่อนทำการปรับค่า

สูตร
\min \tfrac{1}{2}\lVert w\rVert^2 + C\sum_i (\xi_i + \xi_i^*)
3

การทำนายสำหรับอินพุตใหม่จะถูกสร้างขึ้นเป็นการรวมกันของเวกเตอร์สนับสนุน (support vectors) ซึ่งเป็นจุดฝึกที่อยู่บนหรือเกินขอบท่อ บวกกับค่าออฟเซ็ต เฉพาะเวกเตอร์สนับสนุนเหล่านี้เท่านั้นที่จะเข้าสู่การทำนายสุดท้าย ซึ่งเป็นสิ่งที่ทำให้แบบจำลองที่ปรับค่าแล้วมีขนาดกะทัดรัด

สูตร
f(x) = \sum_i (\alpha_i - \alpha_i^*) k(x_i, x) + b

ข้อผิดพลาดที่พบบ่อย

  • การปรับค่า SVR บนคุณลักษณะที่ไม่ได้ทำให้เป็นมาตรฐาน ซึ่งทำให้ระยะห่างของเคอร์เนลบิดเบือน
  • การยอมรับค่าเคอร์เนลและ C เริ่มต้นโดยไม่ได้ปรับแต่งด้วยการตรวจสอบไขว้
  • การใช้ SVR กับกลุ่มตัวอย่างขนาดเล็กซึ่งมีข้อมูลไม่เพียงพอสำหรับการปรับพารามิเตอร์เหนือ (hyperparameter optimisation)
  • การปฏิบัติต่อการปรับค่าตามเคอร์เนลเสมือนว่าให้ขนาดผลกระทบที่สามารถตีความได้

คำถามที่พบบ่อย

พารามิเตอร์ epsilon ควบคุมอะไร?

Epsilon กำหนดครึ่งความกว้างของท่อความคลาดเคลื่อนรอบฟังก์ชันที่ปรับค่าแล้ว ความเบี่ยงเบนที่น้อยกว่า epsilon จะถือว่าไม่มีข้อผิดพลาดเลย ดังนั้น epsilon ที่ใหญ่ขึ้นจะให้แบบจำลองที่ราบเรียบและง่ายขึ้นโดยมีเวกเตอร์สนับสนุนน้อยลง ในขณะที่ epsilon ที่เล็กลงจะปรับค่าให้เข้ากับข้อมูลอย่างใกล้ชิดยิ่งขึ้น

ทำไมฉันต้องทำให้คุณลักษณะเป็นมาตรฐาน?

SVR อาศัยการคำนวณระยะห่างผ่านเคอร์เนล หากคุณลักษณะมีมาตราส่วนที่แตกต่างกันมาก คุณลักษณะที่มีช่วงกว้างกว่าจะครอบงำระยะห่าง ดังนั้นคุณลักษณะควรได้รับการทำให้เป็นมาตรฐานก่อนทำการปรับค่า

กลุ่มตัวอย่างเล็กแค่ไหนถึงจะเล็กเกินไป?

ด้วยข้อมูลการสังเกตน้อยกว่าประมาณ 50 รายการ การปรับค่าจะขึ้นอยู่กับเวกเตอร์สนับสนุนไม่เพียงพอและไม่เสถียร และมีข้อมูลไม่เพียงพอสำหรับการปรับแต่งไฮเปอร์พารามิเตอร์ของเคอร์เนล การถดถอยแบบ ridge หรือแบบเชิงเส้นจึงเป็นทางเลือกที่ปลอดภัยกว่า

SVR แตกต่างจาก ordinary least squares อย่างไร?

Least squares ลงโทษทุกส่วนที่เหลือ (residual) เป็นกำลังสอง ในขณะที่ SVR จะไม่สนใจส่วนที่เหลือภายใน epsilon-tube และลงโทษเฉพาะส่วนที่อยู่นอกท่อเท่านั้น เมื่อรวมกับเคอร์เนล สิ่งนี้ช่วยให้ SVR สามารถจับความสัมพันธ์ที่ไม่เป็นเชิงเส้นและทนทานต่อความเบี่ยงเบนเล็กน้อย

วิธีการที่เกี่ยวข้อง

แหล่งอ้างอิง

  1. Smola, A.J. & Schölkopf, B. (2004). A Tutorial on Support Vector Regression. Statistics and Computing, 14, 199–222.

    เปิดเอกสารอ้างอิง DOI
    คัดลอกแล้ว