الانتقال إلى المحتوى
العودة إلى نتائج البحث

شبكة المرونة (Elastic Net)

قدّمه
Zou, H. & Hastie, T.
السنة
2005
النوع
Regularized linear regression (L1 + L2 penalty)

هذا النص ترجمة آلية ولم تتم مراجعته بعد. اقرأ النص الأصلي بالإنجليزية

حجم الخط

ماذا تفعل؟

شبكة المرونة (Elastic Net) هي طريقة انحدار خطي مُنظَّم (regularized) قدمها Zou و Hastie في عام 2005، وهي تمزج بين عقوبتي LASSO (L1) و Ridge (L2)، لذا فهي تؤدي اختيار المتغيرات وتقليص المعاملات في نفس الوقت. وهي مصممة للنمذجة التنبؤية والتفسيرية على البيانات التي تحتوي على العديد من المتنبئات، التي قد تكون مترابطة.

الفكرة الحدسية وراء الطريقة

الانحدار الخطي العادي يمكن أن يُفرط في التخصيص (overfit) ويتصرف بشكل سيء عندما تكون المتنبئات مترابطة أو عندما يكون عدد الميزات أكبر من عدد المشاهدات. يمكن لـ LASSO أن يجعل المعاملات صفرًا لاختيار المتغيرات ولكنه يعاني عندما تكون مجموعات المتنبئات مترابطة، بينما يقوم Ridge بتقليص الجميع بسلاسة ولكنه لا يسقط متغيرًا أبدًا. شبكة المرونة تمزج بين الاثنين: فهي تحتفظ بقدرة LASSO على تعيين بعض المعاملات بالضبط إلى الصفر مع استعارة استقرار Ridge بحيث يتم التعامل مع المتنبئات المترابطة بلطف بدلاً من اختيارها بشكل اعتباطي.

التاريخ

تم تقديم شبكة المرونة بواسطة Hui Zou و Trevor Hastie في عام 2005 للتغلب على ضعفين معروفين لـ LASSO: سلوكه المتقلب عندما تكون المتنبئات مترابطة بشدة وعدم قدرته على اختيار متغيرات أكثر من عدد المشاهدات. بإضافة حد L2 بأسلوب Ridge إلى عقوبة L1 الخاصة بـ LASSO، أنتجوا مقدرًا يقوم باختيار المتغيرات وتثبيت الحل، وأصبح أداة قياسية للانحدار عالي الأبعاد.

متى تُستخدم

استخدم شبكة المرونة للتنبؤ أو التفسير على النتائج المستمرة أو الثنائية أو العد عندما يكون لديك العديد من المتنبئات - خاصة المترابطة منها أو المزيد من الميزات أكثر من المشاهدات - وتريد اختيار المتغيرات التلقائي مع التقليص. تفترض علاقة خطية تقريبًا وأن الميزات قد تم تطبيعها. تحتاج إلى حوالي 30 مشاهدة على الأقل حتى يمكن ضبط كلا المُعاملين الفائقين عن طريق التحقق المتقاطع؛ أقل من ذلك، فإن LASSO العادي أو Ridge أكثر أمانًا.

الحدود والاعتبارات

  • يفترض علاقة خطية تقريبية بين المتنبئات والنتيجة.
  • يجب تطبيع الميزات أولاً، أو تفضل العقوبة بشكل غير عادل المتغيرات ذات النطاق الكبير.
  • يجب ضبط مُعاملين فائقين (قوة العقوبة ونسبة L1/L2)، مما يتطلب بيانات تحقق متقاطع أكثر من الطرق ذات العقوبة الواحدة.
  • على العينات الصغيرة (n أقل من حوالي 30) يكون تحسين نسبة مزج L1/L2 غير مستقر.

لا تغني شروط المصدر عن المراجعة العلمية المستقلة أو التحقق بواسطة محرك تحليل.

نقاط القوة

  • يجمع بين اختيار المتغيرات في LASSO وتقليص Ridge في نموذج واحد.
  • يتعامل مع المتنبئات المترابطة بلطف، ويميل إلى الاحتفاظ بها أو إسقاطها كمجموعات.
  • يعمل عندما يتجاوز عدد الميزات عدد المشاهدات.
  • خفيف التوزيع: لا يتطلب نتائج موزعة طبيعيًا ويتعامل مع ميزات مستمرة وثنائية وعددية.

التطبيقات

  • الانحدار عالي الأبعاد حيث تفوق المتنبئات عدد المشاهدات.
  • الدراسات الجينومية ودراسات المؤشرات الحيوية التي تحتوي على العديد من الميزات المترابطة.
  • النمذجة التنبؤية التي تحتاج إلى كل من اختيار المتغيرات والمعاملات القوية.
  • النمذجة التفسيرية حيث يوضح تقليص وتشذيب المتنبئات المترابطة الإشارة.

كيف يعمل

كيف يعمل

1

يقوم النموذج بتكييف المعاملات عن طريق تقليل خسارة مربع الخطأ المعتادة بالإضافة إلى عقوبة مجمعة: حد L1 الذي يدفع بعض المعاملات إلى الصفر بالضبط (اختيار) وحد L2 الذي يقلصها بسلاسة (استقرار). يتم التحكم في قوة العقوبة الإجمالية بواسطة λ، والتوازن بين العقوبتين بواسطة معامل المزج (l1_ratio، مكتوب α هنا).

الصيغة
\min_{\beta}\; \tfrac{1}{2n}\,\lVert y - X\beta \rVert_2^2 + \lambda\left( \alpha \lVert\beta\rVert_1 + \tfrac{1-\alpha}{2}\lVert\beta\rVert_2^2 \right)
2

يتحكم مُعاملان فائقان (hyperparameters) في التكييف - قوة العقوبة الإجمالية ونسبة مزج L1/L2 - ويتم اختيارهما عن طريق التحقق المتقاطع (cross-validation). نظرًا لوجود مقبضين للضبط بدلاً من مقبض واحد، تحتاج شبكة المرونة إلى بيانات كافية (حوالي 30 مشاهدة على الأقل) لكي تكون شبكة التحقق المتقاطع موثوقة. يجب توحيد المتنبئات (standardized) أولاً حتى تعامل العقوبة كل ميزة على نفس المقياس.

3

يعيد النموذج المُكيَّف مجموعة متفرقة من المعاملات: يتم دفع المتنبئات غير المهمة إلى الصفر وإسقاطها، بينما تميل المتنبئات المترابطة إلى الاحتفاظ بها أو إزالتها كمجموعة بدلاً من اختيار واحد بشكل عشوائي. المعاملات الباقية، بعد أن تم تقليصها، تعطي نموذجًا أكثر استقرارًا وقابلية للتعميم من الانحدار غير المُعاقب (unpenalized).

الأخطاء الشائعة

  • تكييف النموذج دون توحيد المتنبئات أولاً.
  • محاولة ضبط كلا المُعاملين الفائقين على عدد قليل جدًا من المشاهدات، مما يجعل شبكة التحقق المتقاطع غير موثوقة.
  • اللجوء إلى شبكة المرونة عندما تكون عقوبة واحدة كافية - LASSO وحده إذا كنت تحتاج فقط إلى الاختيار، و Ridge وحده إذا كنت تحتاج فقط إلى التقليص.
  • تفسير المعاملات المُقلَّصة على أنها أحجام تأثير غير متحيزة.

الأسئلة الشائعة

كيف تختلف شبكة المرونة عن LASSO و Ridge؟

يستخدم LASSO عقوبة L1 فقط (اختيار ولكن غير مستقر مع المتنبئات المترابطة)؛ يستخدم Ridge عقوبة L2 فقط (تقليص مستقر ولكنه لا يسقط المتغيرات أبدًا). تمزج شبكة المرونة بين الاثنين، يتم التحكم فيها بواسطة نسبة مزج، لذا فهي تختار المتغيرات وتبقى مستقرة مع الميزات المترابطة.

هل أحتاج إلى قياس ميزاتي؟

نعم. تعمل العقوبة على حجم المعاملات، لذا يجب تطبيع الميزات أولاً؛ وإلا فإن المتغيرات ذات النطاق الكبير تُعاقب بشكل مختلف ويكون الاختيار متحيزًا.

كم عدد المشاهدات التي أحتاجها؟

حوالي 30 مشاهدة على الأقل. تقوم شبكة المرونة بضبط مُعاملين فائقين عن طريق التحقق المتقاطع، لذا فهي تحتاج إلى مزيد من البيانات مقارنة بالطرق ذات العقوبة الواحدة. أقل من 30، استخدم LASSO العادي إذا كنت بحاجة إلى الاختيار أو Ridge إذا كنت بحاجة إلى التقليص.

ماذا يتحكم المُعاملان الفائقان؟

قوة العقوبة الإجمالية (λ) تتحكم في مقدار تقليص المعاملات، ونسبة المزج (l1_ratio) تحدد التوازن بين عقوبة الاختيار L1 وعقوبة التقليص L2. يتم اختيار كليهما عن طريق التحقق المتقاطع.

طرق ذات صلة

المصادر

  1. Zou, H. & Hastie, T. (2005). Regularization and Variable Selection via the Elastic Net. Journal of the Royal Statistical Society: Series B, 67(2), 301–320.

    افتح مرجع DOI
    تم النسخ.