الانتقال إلى المحتوى
العودة إلى نتائج البحث

انحدار ريدج (Ridge Regression)

قدّمه
Hoerl, A.E. & Kennard, R.W.
السنة
1970
النوع
L2-regularized linear regression

هذا النص ترجمة آلية ولم تتم مراجعته بعد. اقرأ النص الأصلي بالإنجليزية

حجم الخط

ماذا تفعل؟

انحدار ريدج هو طريقة انحدار خطي مُنظَّم (L2-regularized) قدمها آرثر هورل وروبرت كينارد في عام 1970، تقلل من التعدد الخطي (multicollinearity) عن طريق إضافة عقوبة (penalty) على حجم المعاملات. إنها تتقلص المعاملات نحو الصفر دون تعيين أي منها بالضبط إلى الصفر، مما ينتج عنه تقديرات أكثر استقرارًا عندما تكون المتنبئات مرتبطة بشدة.

الفكرة الحدسية وراء الطريقة

عندما تكون المتنبئات مترابطة بقوة، تصبح معاملات المربعات الصغرى العادية (ordinary least squares) غير مستقرة ويمكن أن تتأرجح بشكل كبير من عينة إلى أخرى. يقبل انحدار ريدج عمدًا قدرًا صغيرًا من التحيز (bias) مقابل تباين (variance) أقل بكثير: عن طريق إضافة عقوبة على حجم المعاملات التربيعي، فإنه يُهدئ هذه التأرجحات الجامحة ويحتفظ بجميع المتغيرات في النموذج، ولكن بأوزان أصغر وأكثر ثباتًا.

التاريخ

تم تقديم انحدار ريدج بواسطة آرثر إي. هورل وروبرت دبليو. كينارد في عام 1970 كوسيلة للحصول على تقديرات متحيزة ولكنها أكثر استقرارًا للمشاكل غير المتعامدة (المتعددة خطيًا)، حيث تفشل المربعات الصغرى العادية. أصبح مفهوم إضافة عقوبة L2 أداة أساسية للانحدار المُمنظَّم وسلفًا مباشرًا للطرق اللاحقة مثل LASSO و Elastic Net، التي تجمع أو تقارن سلوك التقلص الخاص بها مع اختيار صريح للمتغيرات.

متى تُستخدم

استخدم انحدار ريدج للتنبؤ مع مُتنبِّئات مستمرة أو ثنائية أو عددية عندما يكون التعدد الخطي موجودًا - على سبيل المثال، عندما يتجاوز عامل تضخم التباين (variance inflation factor) 10 - وترغب في الاحتفاظ بجميع المتغيرات بدلاً من الاختيار من بينها. يفترض علاقة خطية تقريبًا وحوالي 30 ملاحظة على الأقل. يجب توحيد الميزات أولاً. عندما تكون العينات صغيرة والتعدد الخطي معتدلاً، فإن الانحدار الخطي العادي يكون أكثر قابلية للتفسير؛ عندما يكون اختيار المتغير هو الهدف، فإن LASSO أو Elastic Net يكونان مفضلين.

الحدود والاعتبارات

  • لا يقوم بأي اختيار للمتغيرات؛ لا يمكنه تصفير المُتنبِّئات غير ذات الصلة كما يفعل LASSO.
  • يتطلب توحيد الميزات، وإلا فإن العقوبة تفضل بشكل غير عادل المتغيرات ذات النطاق الكبير.
  • يفترض علاقة خطية بين المتنبئات والنتيجة.
  • في العينات الصغيرة (أقل من حوالي 30 ملاحظة)، يكون ضبط ألفا عن طريق التحقق المتقاطع غير موثوق به وقد يكون المربعات الصغرى العادية كافيًا.
  • عندما لا يكون التعدد الخطي مشكلة في الواقع، فإن التقلص غير ضروري ويقلل من قابلية التفسير.

لا تغني شروط المصدر عن المراجعة العلمية المستقلة أو التحقق بواسطة محرك تحليل.

نقاط القوة

  • يقلل التعدد الخطي ويُثبّت تقديرات المعاملات عن طريق إضافة عقوبة L2.
  • يحتفظ بكل مُتنبِّئ في النموذج - تتقلص المعاملات ولكن لا يتم إسقاط أي منها إلى الصفر.
  • يقلل التباين على حساب زيادة صغيرة ومُتحكم فيها في التحيز، وغالبًا ما يحسن التنبؤ.
  • يحتوي على مُعامل فائق (hyperparameter) واحد سهل الضبط (ألفا) يتم اختياره عن طريق التحقق المتقاطع.
  • يعمل مع مُتنبِّئات مستمرة وثنائية وعددية دون الحاجة إلى بيانات موزعة طبيعيًا.

التطبيقات

  • التنبؤ بالعديد من المتنبئات المترابطة حيث يؤدي التعدد الخطي إلى تضخيم تباين المربعات الصغرى العادية.
  • تثبيت معاملات الانحدار عندما تكون عوامل تضخم التباين عالية (VIF أعلى من 10).
  • النمذجة عندما يجب الاحتفاظ بجميع المتنبئات بدلاً من استبعادها.
  • خط أساس مُمنظَّم قبل المقارنة مع LASSO أو Elastic Net.

كيف يعمل

كيف يعمل

1

تقوم المربعات الصغرى العادية بضبط المعاملات عن طريق تقليل الخطأ التربيعي وحده. عندما يكون هناك مُتنبِّئان أو أكثر غير ضروريين تقريبًا (تعدد خطي)، فإن هذا يترك المعاملات غير محددة جيدًا وحساسة للغاية للضوضاء. يعالج ريدج هذا عن طريق تثبيط المعاملات الكبيرة، مقايضًا قدرًا ضئيلًا من التحيز باستقرار أكبر بكثير.

2

يُقلل انحدار ريدج من مجموع الأخطاء التربيعية المعتاد بالإضافة إلى عقوبة تساوي ثابت ضبط (tuning constant) ألفا مضروبًا في مجموع المعاملات التربيعية. هذه العقوبة من النوع L2 تقلص جميع المعاملات نحو الصفر بما يتناسب مع حجمها، ولكن على عكس LASSO، فإنها لا تجبر أي معامل على الصفر بالضبط أبدًا، لذلك يتم الاحتفاظ بكل مُتنبِّئ. يلزم توحيد (standardizing) الميزات مسبقًا حتى تعامل العقوبة كل مُتنبِّئ بشكل عادل.

الصيغة
\hat{\beta}^{\text{ridge}} = \arg\min_{\beta} \; \|y - X\beta\|^2 + \alpha \|\beta\|^2
3

تتم السيطرة على قوة العقوبة بواسطة ألفا: القيم الأكبر تقلص المعاملات أكثر. يتم اختيار القيمة الصحيحة عن طريق التحقق المتقاطع (cross-validation)، عادةً عن طريق مسح نطاق من قيم ألفا واختيار القيمة التي تقلل متوسط الخطأ التربيعي المُتحقق منه متقاطعًا.

الأخطاء الشائعة

  • ضبط انحدار ريدج على الميزات الخام غير الموحدة بحيث تشوه العقوبة المعاملات.
  • اختيار ألفا يدويًا بدلاً من تحديده عبر التحقق المتقاطع.
  • تطبيق انحدار ريدج عندما لا يوجد تعدد خطي حقيقي، مما يقلص المعاملات دون فائدة.
  • توقع اختيار المتغيرات - يحتفظ انحدار ريدج بجميع المتغيرات، لذا استخدم LASSO أو Elastic Net إذا كنت بحاجة إلى التفرق (sparsity).
  • تخطي تشخيصات البواقي (الاعتيادية، التجانس) بعد الضبط.

الأسئلة الشائعة

كيف يختلف انحدار ريدج عن LASSO؟

كلاهما يضيف عقوبة لتقليص المعاملات، لكن ريدج يستخدم عقوبة L2 التي تقلص المعاملات نحو الصفر دون الوصول إليها أبدًا، لذا تبقى جميع المتنبئات في النموذج. يستخدم LASSO عقوبة L1 التي يمكنها تعيين المعاملات إلى الصفر بالضبط، مما يؤدي إلى اختيار المتغيرات. اختر ريدج لتثبيت المتنبئات المترابطة و LASSO عندما تحتاج إلى نموذج متفرق.

هل أحتاج إلى توحيد ميزاتي؟

نعم. يلزم توحيد الميزات، لأن عقوبة L2 تعمل على حجم المعاملات؛ بدون توحيد، ستؤدي العقوبة إلى تقليص المتغيرات المقاسة على نطاقات أكبر بشكل غير عادل.

كيف أختار قوة العقوبة ألفا؟

اختر ألفا عن طريق التحقق المتقاطع: امسح نطاقًا من القيم واختر القيمة التي تقلل متوسط الخطأ التربيعي المُتحقق منه متقاطعًا. رسم منحنى متوسط الخطأ التربيعي للتحقق المتقاطع مقابل ألفا يوضح مكان الأمثل.

متى لا ينبغي لي استخدام انحدار ريدج؟

إذا لم يكن هناك تعدد خطي حقيقي، فإن انحدار ريدج يضيف تقلصًا غير ضروري ويكون الانحدار الخطي العادي أكثر قابلية للتفسير. مع العينات الصغيرة جدًا (أقل من حوالي 30 ملاحظة)، يكون ضبط ألفا غير موثوق به، وإذا كنت بحاجة إلى إسقاط المتغيرات غير ذات الصلة، فيجب عليك استخدام LASSO أو Elastic Net بدلاً من ذلك.

طرق ذات صلة

المصادر

  1. Hoerl, A.E. & Kennard, R.W. (1970). Ridge Regression: Biased Estimation for Nonorthogonal Problems. Technometrics, 12(1), 55–67.

    افتح مرجع DOI
    تم النسخ.