الانتقال إلى المحتوى
العودة إلى نتائج البحث

انحدار لاسو

قدّمه
Tibshirani, R.
السنة
1996
النوع
Regularized linear regression (L1 penalty)

هذا النص ترجمة آلية ولم تتم مراجعته بعد. اقرأ النص الأصلي بالإنجليزية

حجم الخط

ماذا تفعل؟

انحدار لاسو، الذي قدمه روبرت تيبشيراني عام 1996، هو طريقة انحدار خطي تضيف عقوبة L1 إلى دالة الخسارة بحيث تقلص المعاملات وتجري اختيار المتغيرات في نفس الوقت، مما ينتج عنه نموذج متفرق (sparse model). من خلال دفع بعض المعاملات إلى الصفر تمامًا، فإنه يحتفظ فقط بالمتنبئات المهمة.

الفكرة الحدسية وراء الطريقة

تُناسب المربعات الصغرى العادية كل متنبئ ويمكن أن توزع الوزن عبر العديد من المتغيرات المترابطة أو غير ذات الصلة، مما يؤدي إلى تضخيم التباين وإخفاء الميزات التي تدفع النتيجة حقًا. يضيف لاسو ميزانية على الحجم الكلي للمعاملات: كلما ضاقت هذه الميزانية، يتم دفع المتنبئات الضعيفة إلى الصفر تمامًا وتسقط من النموذج. والنتيجة هي مجموعة أصغر وأكثر استقرارًا من المتغيرات يسهل تفسيرها.

التاريخ

قدم روبرت تيبشيراني لاسو في عام 1996 كطريقة للجمع بين تقليص الانحدار المعاقب واختيار المتغيرات التلقائي، باستخدام عقوبة L1 على المعاملات. أصبح حجر الزاوية في الإحصاءات عالية الأبعاد وحفز طرقًا ذات صلة مثل انحدار ريدج والشبكة المرنة، التي توازن أو تجمع بين عقوبات L1 و L2.

متى تُستخدم

ملاءمة جيدة عندما ترغب في نموذج خطي متفرق وقابل للتفسير للتنبؤ أو التفسير من العديد من المتنبئات المستمرة أو الثنائية أو العددية، وما لا يقل عن 30 ملاحظة. وهو مفيد بشكل خاص عند وجود التعددية الخطية (على سبيل المثال VIF أعلى من 10) وترغب في أن تختار الطريقة نفسها المتغيرات التي يجب الاحتفاظ بها. يفترض علاقة خطية تقريبًا ويتطلب توحيد الميزات. عند أقل من حوالي 30 ملاحظة، يصبح اختيار المتغيرات غير مستقر ويكون انحدار ريدج أكثر أمانًا؛ عندما يتجاوز عدد المتنبئات حجم العينة، يفضل الشبكة المرنة (elastic net).

الحدود والاعتبارات

  • يفترض وجود علاقة خطية بين المتنبئات والنتيجة.
  • يجب توحيد الميزات أولاً وإلا فإن العقوبة ستتعامل مع المتغيرات على مقاييس مختلفة بشكل غير عادل.
  • في العينات الصغيرة (n أقل من حوالي 30) تكون المتغيرات المختارة غير مستقرة وغير قابلة للتكرار.
  • عندما يتجاوز عدد المتنبئات حجم العينة، يمكنه اختيار n متغيرًا كحد أقصى، لذا يفضل الشبكة المرنة.

لا تغني شروط المصدر عن المراجعة العلمية المستقلة أو التحقق بواسطة محرك تحليل.

نقاط القوة

  • يُجري اختيار المتغيرات وتقلص المعاملات في ملاءمة واحدة، مما ينتج عنه نموذج متفرق وقابل للتفسير.
  • يدفع المتنبئات الضعيفة إلى الصفر تمامًا، مما يبسط النموذج ويقلل من التجهيز الزائد (overfitting).
  • استجابة طبيعية للتعددية الخطية (VIF عالية) دون إسقاط المتغيرات يدويًا.
  • لا يتطلب بيانات موزعة طبيعيًا ويتعامل مع المتنبئات المستمرة والثنائية والعددية.
  • معامل ضبط واحد فقط (لامدا)، وهو سهل الضبط عن طريق التحقق المتقاطع.

التطبيقات

  • بناء نماذج تنبؤ متفرقة وقابلة للتفسير من العديد من المتنبئات المرشحة.
  • اختيار المتغيرات التلقائي عند وجود التعددية الخطية (VIF عالية).
  • الإعدادات عالية الأبعاد حيث يُتوقع أن تكون مجموعة فرعية فقط من الميزات مهمة.
  • خط أساس منتظم قبل تجربة الشبكة المرنة أو النماذج الأكثر تعقيدًا.

كيف يعمل

كيف يعمل

1

يقلل لاسو مجموع المربعات المتبقية المعتاد بالإضافة إلى عقوبة تساوي لامدا مضروبة في مجموع القيم المطلقة للمعاملات. هذه العقوبة L1 هي السمة المميزة: كلما زادت لامدا، زادت سحب المعاملات نحو الصفر.

الصيغة
\min_{\beta} \; \|y - X\beta\|_2^2 + \lambda \sum_j |\beta_j|
2

نظرًا لأن عقوبة L1 لها زوايا حادة، فإنها تفعل أكثر من مجرد تقليص المعاملات نحو الصفر — إنها تضبط العديد منها على الصفر تمامًا. يتم إزالة المتغيرات ذات المعامل الصفري بشكل فعال، لذا فإن الملاءمة واختيار المتغيرات يحدثان في خطوة واحدة ويكون النموذج النهائي متفرقًا.

3

تتحكم قوة العقوبة لامدا في المفاضلة بين الملاءمة والتفرق، لذلك يتم اختيارها عن طريق التحقق المتقاطع: يتم تجربة مجموعة من قيم لامدا ويتم الاحتفاظ بالقيمة التي تقلل متوسط الخطأ التربيعي المتحقق متقاطعًا. يجب توحيد الميزات أولاً حتى يتم تطبيق العقوبة الواحدة بشكل عادل عبر المتنبئات على مقاييس مختلفة.

الأخطاء الشائعة

  • ملاءمة لاسو دون توحيد الميزات مسبقًا.
  • اختيار لامدا يدويًا بدلاً من ضبطها بالتحقق المتقاطع.
  • الثقة في المتغيرات المختارة على عينة صغيرة جدًا حيث يكون الاختيار غير مستقر.
  • نسيان التحقق من رسوم بيانية المتبقيات للتأكد من الطبيعية والتجانس بعد الملاءمة.
  • تجاهل أنه، مع وجود عدد أكبر من المتنبئات من الملاحظات، يحد لاسو من عدد المتغيرات المختارة.

الأسئلة الشائعة

كيف يتم اختيار لامدا؟

تتحكم لامدا في مدى قوة معاقبة المعاملات. يتم اختيارها عن طريق التحقق المتقاطع: يتم تجربة مجموعة من القيم ويتم الاحتفاظ بالقيمة التي تقلل متوسط الخطأ التربيعي المتحقق متقاطعًا.

لماذا يجب علي توحيد الميزات؟

تُطبق عقوبة L1 الواحدة بالتساوي على كل معامل، لذا فإن المتنبئات المقاسة على مقاييس أكبر ستُعاقب بشكل أقل. توحيد الميزات أولاً يجعل العقوبة عادلة عبر المتغيرات.

كيف يختلف لاسو عن انحدار ريدج؟

يستخدم لاسو عقوبة L1 التي يمكنها ضبط المعاملات على الصفر تمامًا، مما يؤدي إلى اختيار المتغيرات، بينما يستخدم ريدج عقوبة L2 التي تقلص المعاملات ولكن لا تضبطها على الصفر. في العينات الصغيرة أو عندما يكون الاختيار غير مستقر، يكون ريدج هو الخيار الأكثر أمانًا.

ماذا يجب أن أتحقق بعد الملاءمة؟

افحص منحنى متوسط الخطأ التربيعي للتحقق المتقاطع لتأكيد لامدا المختارة، وراجع المتغيرات التي تم الاحتفاظ بها مقابل تلك التي تم ضبطها على الصفر، وافحص رسوم بيانية المتبقيات للتأكد من الطبيعية والتجانس.

طرق ذات صلة

المصادر

  1. Tibshirani, R. (1996). Regression Shrinkage and Selection via the Lasso. Journal of the Royal Statistical Society: Series B, 58(1), 267–288.

    افتح مرجع DOI
    تم النسخ.