الانتقال إلى المحتوى
العودة إلى نتائج البحث

انحدار المتجهات الداعمة

قدّمه
Smola, A.J. & Schölkopf, B.
السنة
2004
النوع
Kernel-based supervised model (epsilon-insensitive regression)

هذا النص ترجمة آلية ولم تتم مراجعته بعد. اقرأ النص الأصلي بالإنجليزية

حجم الخط

ماذا تفعل؟

يصف انحدار المتجهات الداعمة (Support Vector Regression - SVR)، كما ورد في مقال سمولا وشولكوفف التثقيفي لعام 2004، التنبؤ بنتيجة مستمرة عن طريق ملاءمة دالة تظل ضمن أنبوب بسعة إبسيلون حول البيانات مع تكبد أقل قدر ممكن من الخطأ. وهو يوسع فكرة آلة المتجهات الداعمة من التصنيف إلى الانحدار، باستخدام نواة لالتقاط العلاقات غير الخطية.

الفكرة الحدسية وراء الطريقة

بدلاً من معاقبة كل انحراف عن الخط الملائم، يتجاهل SVR الأخطاء الأصغر من قيمة إبسيلون المسموح بها - فهو يرسم أنبوبًا بعرض إبسيلون حول الدالة المتوقعة، ولا تُحتسب النقاط الواقعة خارج الأنبوب إلا ضدها. ثم يسعى النموذج إلى إيجاد الدالة الأكثر استواءً التي تبقي معظم النقاط داخل الأنبوب. وتشكل النقاط القليلة الموجودة على حواف الأنبوب أو خارجه المتجهات الداعمة التي تحدد التنبؤ.

التاريخ

يوسع انحدار المتجهات الداعمة آلة المتجهات الداعمة، وهي في الأصل طريقة تصنيف، إلى مهمة الانحدار. تم عرض صياغة إبسيلون غير الحساسة وحلها المعتمد على النواة في مقال سمولا وشولكوفف التثقيفي لعام 2004 في الإحصاء والحوسبة، والذي أصبح المرجع القياسي لهذه الطريقة.

متى تُستخدم

استخدم SVR للتنبؤ بنتيجة مستمرة (أو عددية) من السمات عندما قد تكون العلاقة غير خطية ولديك حوالي 50 ملاحظة على الأقل. يجب تطبيع السمات، ويجب ضبط النواة ومعلمة C. مع أقل من 50 حالة، يعتمد التنبؤ على عدد قليل جدًا من المتجهات الداعمة ويصبح غير مستقر، لذا يُفضل انحدار ريدج أو الانحدار الخطي.

الحدود والاعتبارات

  • يحتاج إلى حوالي 50 ملاحظة على الأقل؛ مع أقل من ذلك، تعتمد التنبؤات على عدد قليل جدًا من المتجهات الداعمة وهي غير مستقرة.
  • يعتمد الأداء على ضبط النواة والمعلمة C، مما يتطلب بيانات كافية للتحقق المتقاطع.
  • يجب تطبيع السمات مسبقًا وإلا فإن مسافات النواة ستتشوه.
  • لا يقدم معاملات قابلة للتفسير.

لا تغني شروط المصدر عن المراجعة العلمية المستقلة أو التحقق بواسطة محرك تحليل.

نقاط القوة

  • يجعل الخسارة غير الحساسة لإبسيلون الملاءمة قوية ضد الانحرافات الصغيرة والقيم المتطرفة داخل الأنبوب.
  • تسمح النوى لـ SVR بنمذجة العلاقات غير الخطية دون هندسة صريحة لسمات جديدة.
  • لا يتطلب بيانات موزعة طبيعيًا.
  • يعتمد النموذج النهائي فقط على المتجهات الداعمة، مما يحافظ على ضغط التنبؤ.

التطبيقات

  • التنبؤ بالنتائج المستمرة حيث تكون العلاقة مع السمات غير خطية.
  • مهام التنبؤ والتوقع حيث تكون المتانة ضد الانحرافات الصغيرة مهمة.
  • نمذجة أهداف عددية أو مستمرة في بيانات الصحة والاجتماعية والهندسية والأعمال.
  • العمل كبديل قائم على النواة للانحدار الخطي أو انحدار ريدج عند الاشتباه في وجود عدم خطية.

كيف يعمل

كيف يعمل

1

يحدد SVR هامش تسامح، وهو أنبوب إبسيلون، حول دالة الانحدار: تُعامل الانحرافات التي تقل عن إبسيلون على أنها لا خطأ على الإطلاق. وهذا يجعل الملاءمة غير حساسة للتقلبات الصغيرة ويركز النموذج على الملاحظات التي تقع بالفعل خارج النطاق.

الصيغة
|y_i - f(x_i)| \le \varepsilon
2

يوازن النموذج بين استواء الدالة والخطأ الناتج عن النقاط خارج الأنبوب. تتحكم معلمة التنظيم C في مدى معاقبة الانحرافات خارج الأنبوب، بينما تسمح النواة (مثل نواة RBF) للدالة بالانحناء لالتقاط البنية غير الخطية. نظرًا لأنه يجب ضبط كل من C والنواة، يجب تطبيع السمات قبل الملاءمة.

الصيغة
\min \tfrac{1}{2}\lVert w\rVert^2 + C\sum_i (\xi_i + \xi_i^*)
3

تُشكّل التنبؤات للمدخلات الجديدة كمزيج مرجح بالنواة من المتجهات الداعمة - وهي نقاط التدريب الموجودة على حواف الأنبوب أو أبعد منها - بالإضافة إلى إزاحة. فقط هذه المتجهات الداعمة تدخل في التنبؤ النهائي، وهذا ما يجعل النموذج الملائم مدمجًا.

الصيغة
f(x) = \sum_i (\alpha_i - \alpha_i^*) k(x_i, x) + b

الأخطاء الشائعة

  • ملاءمة SVR على سمات غير مطبعة، مما يشوه مسافات النواة.
  • قبول قيم النواة و C الافتراضية دون ضبطها بالتحقق المتقاطع.
  • استخدام SVR على عينة صغيرة لا تتوفر فيها بيانات كافية للتحسين الفائق للمعلمات.
  • معاملة الملاءمة القائمة على النواة كما لو كانت تنتج أحجام تأثير قابلة للتفسير.

الأسئلة الشائعة

ماذا تتحكم معلمة إبسيلون؟

تحدد إبسيلون نصف عرض أنبوب التسامح حول الدالة الملائمة. تُعامل الانحرافات الأصغر من إبسيلون على أنها خطأ صفري، لذا فإن إبسيلون أكبر ينتج نموذجًا أبسط وأكثر استواءً مع عدد أقل من المتجهات الداعمة، بينما تلائم إبسيلون أصغر البيانات بشكل أكثر إحكامًا.

لماذا يجب علي تطبيع السمات؟

يعتمد SVR على المسافات المحسوبة عبر النواة. إذا كانت السمات على مقاييس مختلفة جدًا، فإن تلك ذات النطاقات الأكبر تهيمن على المسافات، لذا يجب توحيد السمات قبل الملاءمة.

ما هو حجم العينة الصغير جدًا؟

مع أقل من حوالي 50 ملاحظة، يعتمد الملاءمة على عدد قليل جدًا من المتجهات الداعمة ويصبح غير مستقر، ولا توجد بيانات كافية لضبط المعلمات الفائقة للنواة؛ انحدار ريدج أو الانحدار الخطي هو خيار أكثر أمانًا.

كيف يختلف SVR عن المربعات الصغرى العادية؟

تعاقب المربعات الصغرى كل بقية تربيعيًا، بينما يتجاهل SVR البقايا داخل أنبوب إبسيلون ويعاقب فقط تلك الموجودة خارجه. بالاقتران مع نواة، يتيح ذلك لـ SVR التقاط العلاقات غير الخطية والبقاء قويًا ضد الانحرافات الصغيرة.

طرق ذات صلة

المصادر

  1. Smola, A.J. & Schölkopf, B. (2004). A Tutorial on Support Vector Regression. Statistics and Computing, 14, 199–222.

    افتح مرجع DOI
    تم النسخ.