الانحدار الخطي المنتظم
- قدّمه
- Hoerl & Kennard (Ridge, 1970); Tibshirani (Lasso, 1996); Zou & Hastie (Elastic Net, 2005)
- السنة
- 1970–2005
- النوع
- Penalized linear model
- العائلة
- Machine learning
هذا النص ترجمة آلية ولم تتم مراجعته بعد. اقرأ النص الأصلي بالإنجليزية
ماذا تفعل؟
يضيف الانحدار الخطي المنتظم حدًا جزائيًا إلى دالة الهدف للمربعات الصغرى العادية، مما يؤدي إلى تقليص المعاملات أو تصفيرها لتقليل التجاوز في التجهيز (overfitting) والتعامل مع مشكلة التعددية الخطية (multicollinearity). المتغيرات الرئيسية الثلاثة — Ridge (عقوبة L2)، وLasso (عقوبة L1)، وElastic Net (مزيج من L1+L2) — تجعل الانحدار الخطي قابلاً للاستخدام حتى عندما يفوق عدد الميزات عدد الملاحظات أو عندما تكون المتنبئات شديدة الارتباط.
الفكرة الحدسية وراء الطريقة
تمنح المربعات الصغرى العادية كل متنبئ المعامل الذي يقلل الخطأ داخل العينة بالضبط، مما قد ينتج عنه معاملات كبيرة جدًا وغير مستقرة عندما تكون المتنبئات مترابطة أو عندما تحتوي مجموعة البيانات على العديد من الميزات. يعمل التنظيم على سحب هذه المعاملات نحو الصفر — بقوة ولكن بعدل — بحيث يفقد النموذج القليل من دقة التدريب مقابل تعميم أفضل بكثير. يقلص Ridge جميع المعاملات بشكل متناسب؛ يذهب Lasso أبعد من ذلك ويمكنه تعيين بعضها إلى الصفر تمامًا، مما يؤدي فعليًا إلى اختيار الميزات؛ يمزج Elastic Net بين الاستراتيجيتين ويعمل عندما تحتاج المتنبئات المترابطة إلى البقاء معًا.
التاريخ
تم تقديم انحدار Ridge بواسطة Hoerl وKennard في عام 1970 كعلاج للتعددية الخطية في المربعات الصغرى العادية. أضافت ورقة Tibshirani لعام 1996 حول Lasso تنظيم L1 والقدرة على تقليص المعاملات إلى الصفر تمامًا، مما جعل اختيار الميزات التلقائي ممكنًا. قام Zou وHastie بتوسيع هذه الأفكار في عام 2005 باستخدام Elastic Net، حيث جمعا بين عقوبتي L1 وL2 للتعامل مع مجموعات من المتنبئات المترابطة. تشكل هذه الطرق الثلاثة مجموعة أدوات التنظيم الأساسية للنماذج الخطية وهي من أساسيات كتابي Elements of Statistical Learning وAn Introduction to Statistical Learning.
متى تُستخدم
استخدم الانحدار الخطي المنتظم عند التنبؤ بنتيجة مستمرة من العديد من الميزات الرقمية ويُشتبه في وجود بعض التعددية الخطية على الأقل، أو عندما يكون عدد الميزات كبيرًا بالنسبة لحجم العينة. Ridge هو الخيار الافتراضي عندما تكون جميع الميزات ذات صلة بشكل معقول؛ Lasso أو Elastic Net عندما تكون هناك حاجة إلى اختيار الميزات تلقائيًا. يُفضل الانحدار الخطي العادي (غير المعاقب) فقط عندما تكون الميزات قليلة وغير مترابطة والعينة كبيرة. لا تستخدم أي متغير خطي عندما تكون النتيجة غير خطية بشكل واضح أو عندما تكون ثنائية أو فئوية — استخدم الانحدار اللوجستي أو الطرق القائمة على الشجرة بدلاً من ذلك.
الحدود والاعتبارات
- يفترض وجود علاقة خطية بين الميزات والهدف المستمر؛ يفوت الأنماط غير الخطية ما لم يتم هندسة الميزات يدويًا.
- توحيد الميزات إلزامي قبل التجهيز؛ نسيان هذه الخطوة يشوه تقديرات المعاملات.
- يؤدي Lasso أداءً ضعيفًا عندما توجد العديد من المتنبئات المترابطة ذات الصلة حقًا — فهو يختار واحدًا بشكل تعسفي ويتجاهل الآخرين؛ Elastic Net هو الخيار الأكثر أمانًا في هذا الإعداد.
- يحتفظ Ridge بجميع الميزات ولا ينتج نموذجًا متفرقًا (sparse model)، مما قد يعقد التفسير عندما تكون مساحة الميزات عالية الأبعاد جدًا.
لا تغني شروط المصدر عن المراجعة العلمية المستقلة أو التحقق بواسطة محرك تحليل.
نقاط القوة
- ينتج معاملات خطية قابلة للتفسير بالكامل مع أحجام واتجاهات تأثير صريحة.
- يتعامل مع التعددية الخطية برشاقة — يعيد Ridge توزيع المعاملات بين المتنبئات المترابطة؛ يختار Lasso واحدًا من مجموعة.
- يقوم Lasso وElastic Net بإجراء اختيار ميزة مدمج عن طريق تعيين المعاملات غير ذات الصلة إلى الصفر تمامًا.
- فعال حسابيًا حتى على مجموعات البيانات الكبيرة؛ يتوسع إلى ملايين الملاحظات باستخدام الانحدار التنسيقي.
- اختيار لامدا بالتحقق المتقاطع مدعوم جيدًا في جميع برامج الإحصاء الرئيسية (scikit-learn, glmnet, statsmodels).
التطبيقات
- علم الجينوم والمعلوماتية الحيوية: التنبؤ بالأنماط الظاهرية المستمرة من آلاف العلامات الوراثية حيث p >> n.
- الاقتصاد والعلوم الاجتماعية: تقدير تأثيرات العديد من المتغيرات السياسية على النتائج المستمرة مع التحكم في التعددية الخطية.
- الهندسة: التنبؤ بالكميات الفيزيائية من مصفوفات المستشعرات ذات القياسات المترابطة.
- مسار اختيار الميزات: استخدام Lasso أو Elastic Net في المراحل الأولية لتحديد مجموعة صغيرة من المتنبئات قبل تجهيز نموذج أكثر تعقيدًا.
- التمويل: التنبؤ بالعوائد أو مقاييس المخاطر من العديد من العوامل الاقتصادية الكلية والسوقية.
- الرعاية الصحية: التنبؤ بالنتائج السريرية المستمرة من لوحات كبيرة من قيم المختبر أو الميزات المشتقة من التصوير.
كيف يعمل
كيف يعمل
قبل التجهيز، يتم توحيد جميع المتنبئات (متوسط صفر، تباين وحدة). هذا إلزامي لأن العقوبة تنطبق بالتساوي على كل معامل — بدون التوحيد القياسي، ستتم معاقبة الميزات ذات المقاييس الأكبر بشكل أشد، مما يشوه تقديرات المعاملات.
يختار الممارس نوع العقوبة: يستخدم Ridge مجموع مربعات المعاملات (معيار L2)، مما يقلص جميع المعاملات ولكنه لا يضبط أيًا منها على الصفر أبدًا. يستخدم Lasso مجموع القيم المطلقة (معيار L1)، والذي يمكن أن يقلص بعض المعاملات إلى الصفر تمامًا، مما يؤدي إلى اختيار الميزات تلقائيًا. يجمع Elastic Net خطيًا بين L1 وL2، ويتم التحكم فيه بواسطة معلمة خلط ألفا، وهو مفيد بشكل خاص عندما تكون العديد من المتنبئات المترابطة ذات صلة.
الصيغة
\text{Ridge: } \lambda\sum_{j}\beta_j^2 \quad \text{Lasso: } \lambda\sum_{j}|\beta_j| \quad \text{Elastic Net: } \lambda_1\sum|\beta_j|+\lambda_2\sum\beta_j^2يقلل النموذج من دالة الهدف المعاقبة — مجموع مربعات البواقي بالإضافة إلى العقوبة المختارة التي تم قياسها بقوة التنظيم لامدا. بالنسبة لـ Ridge، يوجد حل مغلق الشكل؛ يتطلب Lasso وElastic Net تحسينًا بالتدرج التنسيقي أو التدرج الفرعي لأن عقوبة L1 غير قابلة للتفاضل عند الصفر.
الصيغة
\hat{\boldsymbol{\beta}} = \arg\min_{\boldsymbol{\beta}} \left[ \|\mathbf{y} - \mathbf{X}\boldsymbol{\beta}\|^2 + \text{penalty}(\boldsymbol{\beta}) \right]قوة التنظيم لامدا هي معلمة فائقة (hyperparameter) يجب ضبطها عن طريق التحقق المتقاطع (cross-validation)، عادةً عبر شبكة لوغاريتمية. لامدا تساوي صفرًا تستعيد المربعات الصغرى العادية؛ لامدا كبيرة جدًا تدفع جميع المعاملات نحو الصفر. توازن لامدا المثلى بين التحيز والتباين لمجموعة البيانات المحددة.
بمجرد تثبيت لامدا وتقدير المعاملات، يكون التنبؤ للملاحظات الجديدة مطابقًا للانحدار الخطي العادي: حاصل الضرب النقطي للميزات والمعاملات المقدرة. يظل النموذج قابلاً للتفسير بالكامل من حيث التأثيرات الخطية.
الصيغة
\hat{y} = \mathbf{x}^\top \hat{\boldsymbol{\beta}}الأخطاء الشائعة
- التجهيز بدون توحيد المتنبئات، بحيث يتم معاقبة الميزات ذات المقاييس الأكبر بشكل أكبر وتصبح المعاملات غير قابلة للمقارنة.
- استخدام لامدا الافتراضي بدلاً من اختياره عن طريق التحقق المتقاطع — لامدا الخاطئ إما يقلل التنظيم (قريب من المربعات الصغرى العادية) أو يفرط في التنظيم (تنهار المعاملات إلى الصفر).
- تطبيق الانحدار الخطي المنتظم على نتيجة ثنائية أو عددية بينما يجب استخدام الانحدار اللوجستي أو انحدار بواسون بدلاً من ذلك.
- الإبلاغ عن نتائج اختيار المتغيرات لـ Lasso كما لو كانت تأكيدية — اختيار Lasso حساس لمجموعة البيانات ولامدا، لذا تعامل مع المتغيرات المختارة على أنها استكشافية.
- تجاهل افتراض الخطية والإبلاغ عن نموذج منتظم غير مناسب دون التحقق من البواقي.
الأسئلة الشائعة
متى يجب أن أختار Ridge بدلاً من Lasso؟
اختر Ridge عندما تعتقد أن معظم المتنبئات تساهم في النتيجة وتريد تقديرات معاملات مستقرة دون تصفير أي منها — على سبيل المثال عندما تكون المتنبئات شديدة الارتباط وتريد الاحتفاظ بها جميعًا. اختر Lasso أو Elastic Net عندما تتوقع أن العديد من الميزات غير ذات صلة وتريد اختيار الميزات تلقائيًا.
هل ما زلت أحصل على قيم p وفترات ثقة؟
قيم p الكلاسيكية والأخطاء المعيارية غير متاحة مباشرة من الانحدار المعاقب لأن تقديرات المعاملات متحيزة بطبيعتها. توجد طرق استدلال ما بعد الاختيار (مثل Lasso غير المتفرق) ولكن نادرًا ما تستخدم في الممارسة؛ بدلاً من ذلك، يتم الإبلاغ عن فترات الثقة بطريقة التمهيد (bootstrap) أو مقاييس الاستقرار بالتحقق المتقاطع.
كيف أختار قوة التنظيم لامدا؟
اختر لامدا عن طريق التحقق المتقاطع k-طي (عادة k = 5 أو 10) عبر شبكة لوغاريتمية. تقوم المكتبات مثل RidgeCV وLassoCV في scikit-learn أو glmnet في R بذلك تلقائيًا. أبلغ عن لامدا المختار ولاحظ ما إذا كان قد تم اختياره بأقل خطأ في التحقق المتقاطع أو بقاعدة الخطأ المعياري الواحد.
هل يتطلب الانحدار الخطي المنتظم ميزات موزعة طبيعيًا؟
لا. مثل المربعات الصغرى العادية، الافتراض يتعلق بالبواقي (تقريبًا طبيعية، متجانسة التباين)، وليس بالمتنبئات. لا تزال المتنبئات شديدة الانحراف أو التي تحتوي على قيم متطرفة يمكن أن تشوه التقديرات، لذا فإن تحويل المدخلات المنحرفة لوغاريتميًا هو خطوة معالجة مسبقة شائعة.
ما هو Elastic Net ومتى يُفضل؟
يجمع Elastic Net بين عقوبتي L1 وL2، ويتم التحكم فيه بواسطة معلمة خلط ألفا (ألفا = 1 هو Lasso خالص؛ ألفا = 0 هو Ridge خالص). يُفضل عندما تكون مجموعات من المتنبئات المترابطة كلها ذات صلة — سيختار Lasso واحدًا بشكل تعسفي من المجموعة ويتجاهل البقية، بينما يميل Elastic Net إلى إبقاء المجموعة معًا.
طرق ذات صلة
المصادر
Tibshirani, R. (1996). Regression shrinkage and selection via the lasso. Journal of the Royal Statistical Society: Series B, 58(1), 267–288.
افتح مرجع DOIتم النسخ.Hastie, T., Tibshirani, R. & Friedman, J. (2009). The Elements of Statistical Learning (2nd ed., Ch. 3). Springer.
ردمك: 978-0-387-84858-7تم النسخ.