الانتقال إلى المحتوى
العودة إلى نتائج البحث

الانحدار اللوجستي المنتظم

قدّمه
Tibshirani, R. (lasso); Hoerl & Kennard (ridge); Zou & Hastie (elastic net)
السنة
1996–2005
النوع
Penalized classification model
العائلة
Machine learning

هذا النص ترجمة آلية ولم تتم مراجعته بعد. اقرأ النص الأصلي بالإنجليزية

حجم الخط

ماذا تفعل؟

يمتد الانحدار اللوجستي المنتظم على الانحدار اللوجستي القياسي بإضافة عقوبة L1 (لاسو)، L2 (ريدج)، أو الشبكة المرنة إلى الاحتمالية اللوغاريتمية، مما يقلص المعاملات نحو الصفر ويمنع الإفراط في التخصيص. إنه الخيار الافتراضي للتصنيف الثنائي أو المتعدد عندما تريد تقديرات معاملات قابلة للتفسير، أو متفرقة، أو مستقرة في مساحات الميزات عالية الأبعاد أو المترابطة.

الفكرة الحدسية وراء الطريقة

يعظم الانحدار اللوجستي القياسي احتمالية تسميات الفئة المرصودة. في الإعدادات عالية الأبعاد - العديد من الميزات، ملاحظات قليلة، أو متنبئات مترابطة - يمكن أن تنفجر المعاملات المقدرة أو تتقلب بشكل كبير، مما يتسبب في تعميم ضعيف. التنظيم يقيد مقادير المعاملات عن طريق إضافة عقوبة تنمو مع حجم المعامل، مما يتاجر بكمية صغيرة من ملاءمة مجموعة التدريب لتحسين التعميم بشكل كبير. عقوبة L1 تدفع بعض المعاملات إلى الصفر بالضبط (اختيار الميزات التلقائي)، عقوبة L2 تقلص جميع المعاملات بسلاسة دون صفرها، والشبكة المرنة تمزج بين السلوكين.

التاريخ

تمت صياغة انحدار ريدج بواسطة Hoerl و Kennard في عام 1970 وتم تطبيقه على النماذج الخطية المعممة بما في ذلك الانحدار اللوجستي. قدمت ورقة Tibshirani's 1996 عن لاسو التنظيم L1 مع حلول متفرقة، مما أحدث تحولًا في النمذجة عالية الأبعاد. جمع Zou و Hastie (2005) بين العقوبتين في الشبكة المرنة، معالجةً حد لاسو مع مجموعات الميزات المترابطة. اليوم، يعد الانحدار اللوجستي المنتظم خوارزمية أساسية في scikit-learn و glmnet (R) و LIBLINEAR، ويستخدم بشكل روتيني كمصنف قياسي في التطبيقات الطبية الحيوية وتطبيقات معالجة اللغة الطبيعية.

متى تُستخدم

استخدم الانحدار اللوجستي المنتظم للتصنيف الثنائي أو المتعدد عندما تحتاج إلى مخرجات احتمالية قابلة للتفسير، وعندما يكون عدد الميزات كبيرًا بالنسبة لحجم العينة، أو عندما تكون المتنبئات مترابطة. إنه النموذج المفضل للبدء في التنبؤ السريري، وتصنيف النصوص بميزات حقيبة الكلمات، ودراسات المؤشرات الحيوية عالية الأبعاد. اختر L1 عندما تكون هناك حاجة لاختيار الميزات التلقائي، و L2 لتقدير المعاملات المستقرة، والشبكة المرنة عندما تصل الميزات في مجموعات مترابطة. تجنبه عندما تكون العلاقة بين النتيجة والميزة غير خطية للغاية أو عندما تكون هناك تأثيرات تفاعلية قوية لا يمكن لصيغة اللوغاريتمات الاحتمالية الخطية التقاطها؛ قد تكون مجموعات الأشجار أو طرق النواة أكثر ملاءمة عندئذٍ.

الحدود والاعتبارات

  • يفترض علاقة خطية بين الميزات واللوغاريتمات الاحتمالية؛ لا يمكن التقاط التأثيرات غير الخطية أو التفاعلية بدون هندسة ميزات يدوية.
  • يتطلب أن تكون النتيجة فئوية؛ النتائج المستمرة تحتاج إلى انحدار خطي (وليس لوجستي).
  • تتدهور الأداء عندما تتفاعل الميزات ذات الصلة بقوة، حيث أن النموذج إضافي في اللوغاريتمات الاحتمالية.
  • يجب اختيار لامدا المثلى عن طريق التحقق المتقاطع، مما يضيف حسابًا وخطوة ضبط.
  • يمكن أن تؤدي البيانات غير المتوازنة بشدة بين الفئات إلى تحيز الاحتمالات المتوقعة نحو الفئة الأغلبية دون إعادة ترجيح.

لا تغني شروط المصدر عن المراجعة العلمية المستقلة أو التحقق بواسطة محرك تحليل.

نقاط القوة

  • ينتج احتمالات فئة معايرة ومعاملات موقعة قابلة للتفسير على عكس معظم المصنفات الصندوق الأسود.
  • تقوم عقوبة L1 بإجراء اختيار تلقائي للميزات، مما ينتج نماذج متفرقة يسهل الإبلاغ عنها.
  • يتعامل مع مساحات الميزات عالية الأبعاد (p >> n) بقوة من خلال تقليص المعاملات.
  • عقوبة الشبكة المرنة تتعامل بلطف مع مجموعات الميزات المترابطة، وتوزع الوزن عبر المتنبئات ذات الصلة.
  • سريع جدًا في التركيب حتى على مجموعات البيانات الكبيرة باستخدام محللات نزول الإحداثيات؛ يتوسع إلى ملايين الملاحظات.

التطبيقات

  • درجات المخاطر السريرية والمصنفات التشخيصية من لوحات المؤشرات الحيوية عالية الأبعاد.
  • تصنيف النصوص بميزات حقيبة الكلمات أو TF-IDF، حيث ينتج L1 أوزان كلمات متفرقة قابلة للتفسير.
  • علم الجينوم والبروتيوميات حيث يتجاوز عدد الميزات حجم العينة بكثير.
  • تسجيل الائتمان وكشف الاحتيال الذي يتطلب مخرجات احتمالية للقرارات القائمة على العتبة.
  • معيار التصنيف الأساسي قبل تقييم نماذج التجميع أو التعلم العميق الأكثر تعقيدًا.

كيف يعمل

كيف يعمل

1

يؤدي التركيب الخطي للميزات إلى التنبؤ باللوغاريتمات الاحتمالية للفئة الإيجابية. تحول دالة السينيود اللوغاريتمات الاحتمالية إلى احتمالية بين 0 و 1، مما يجعل المخرجات قابلة للتفسير مباشرة كاحتمالية الفئة.

الصيغة
\log\frac{p}{1-p} = \mathbf{x}^\top\boldsymbol{\beta}
2

هدف التحسين هو الاحتمالية اللوغاريتمية السالبة (الانتروبيا المتقاطعة) بالإضافة إلى حد العقوبة. تتناسب العقوبة مع مقادير المعامل، ويتم التحكم فيها بواسطة المعامل الفائق لامدا (القوة) وألفا (مزيج L1/L2). تفرض لامدا الأكبر تقلصًا أثقل؛ ألفا=1 تعطي لاسو نقي، ألفا=0 تعطي ريدج نقي.

الصيغة
\mathcal{L}(\boldsymbol{\beta}) = -\ell(\boldsymbol{\beta}) + \lambda\left[\alpha\|\boldsymbol{\beta}\|_1 + \tfrac{1-\alpha}{2}\|\boldsymbol{\beta}\|_2^2\right]
3

يحدد اختيار العقوبة السلوك: L1 (لاسو) ينتج حلولًا متفرقة عن طريق صفر الميزات غير ذات الصلة ويفضل عندما يكون اختيار الميزات مرغوبًا. L2 (ريدج) مفضل عندما يتوقع أن تساهم جميع الميزات وأن يكون الترابط عاليًا. الشبكة المرنة (ألفا بين 0 و 1) تتعامل مع مجموعات الميزات المترابطة بشكل أفضل من لاسو وحده.

4

يتم تقليل الخسارة المعاقبة باستخدام خوارزميات تكرارية مثل نزول الإحداثيات (محللات liblinear/saga في scikit-learn). يتم تحديد لامدا المثلى عن طريق التحقق المتقاطع، عادةً على شبكة لوغاريتمية. توحيد الميزات قبل التركيب ضروري بحيث يتم تطبيق العقوبة باستمرار عبر جميع المتنبئات.

5

يتم تحويل الاحتمالات المتوقعة إلى تسميات فئة باستخدام عتبة قرار، عادةً 0.5 افتراضيًا. في الإعدادات غير المتوازنة، يجب ضبط العتبة لموازنة الدقة والاستدعاء وفقًا لهيكل تكلفة التطبيق.

الصيغة
\hat{y} = \mathbf{1}[\hat{p} \ge t]

الأخطاء الشائعة

  • التركيب بدون توحيد الميزات: يعامل حد العقوبة جميع المعاملات بالتساوي، لذا تتلقى الميزات ذات القيم الرقمية الكبيرة تقلصًا غير متناسب ما لم يتم توحيدها، مما يشوه الحل.
  • استخدام العتبة الافتراضية 0.5 دون التحقق من المعايرة وتوازن الفئة، مما يقلل بصمت من الاستدعاء على الفئة الأقلية.
  • الإبلاغ عن الدقة فقط بدلاً من مقاييس AUC و F1 والمعايرة، مما يخفي الأداء الضعيف للفئة الأقلية.
  • تخطي التحقق المتقاطع لاختيار لامدا وبدلاً من ذلك التقييم على بيانات التدريب، مما يؤدي إلى نماذج مفرطة التخصيص.
  • تفسير المعاملات المختارة بواسطة لاسو على أنها سببية دون حساب تحيز المتغير المحذوف وعدم استقرار اختيار المتغيرات بالقرب من حدود القرار.

الأسئلة الشائعة

كيف أختار بين L1 و L2 والشبكة المرنة؟

استخدم L1 عندما تعتقد أن مجموعة فرعية فقط من الميزات ذات صلة وتريد الاختيار التلقائي. استخدم L2 عندما من المحتمل أن تساهم جميع الميزات أو تكون المتنبئات مترابطة للغاية، حيث يوزع ريدج الوزن عبر المجموعات المترابطة. استخدم الشبكة المرنة عندما تحتاج إلى التفرق ولكن لديك أيضًا كتل من الميزات المترابطة؛ اضبط ألفا جنبًا إلى جنب مع لامدا عبر التحقق المتقاطع المتداخل.

هل يجب علي توحيد الميزات قبل التركيب؟

نعم، دائمًا. يعامل حد العقوبة جميع المعاملات بالتساوي، لذا ستتلقى الميزة ذات القيم الرقمية الكبيرة تقلصًا أقل نسبيًا ما لم يتم توحيدها. قم بمركز وتوسيع كل ميزة إلى متوسط صفر وتباين وحدة قبل التركيب وتطبيق نفس التحويل على بيانات الاختبار.

كيف يتم اختيار لامدا؟

لامدا هو معامل فائق يتم اختياره عن طريق التحقق المتقاطع، عادةً k-fold (k=5 أو 10) على شبكة لوغاريتمية. في glmnet الخاص بـ R، يقوم cv.glmnet بأتمتة ذلك. في scikit-learn، يجب استخدام LogisticRegressionCV أو GridSearchCV مع التحقق المتقاطع على قوة التنظيم العكسي C (C=1/lambda).

هل يعطي الانحدار اللوجستي المنتظم احتمالات معايرة؟

بشكل عام نعم، أفضل من مجموعات الأشجار، لأن الانحدار اللوجستي ينمذج احتمالات الفئة مباشرة عبر السينيود. ومع ذلك، يمكن للتنظيم الشديد ضغط الاحتمالات المتوقعة نحو 0.5. يمكن استخدام قياس بلات أو انحدار متزايد للمعايرة إذا لزم الأمر.

كيف أتعامل مع عدم توازن الفئة؟

قم بتعيين class_weight='balanced' (scikit-learn) بحيث تتلقى ملاحظات الفئة الأقلية وزن خسارة أعلى، أو أعد أخذ عينات من مجموعة التدريب يدويًا. اضبط أيضًا عتبة القرار باستخدام منحنى الدقة-الاستدعاء بدلاً من تثبيتها عند 0.5.

طرق ذات صلة

المصادر

  1. Tibshirani, R. (1996). Regression shrinkage and selection via the lasso. Journal of the Royal Statistical Society: Series B, 58(1), 267–288.

    افتح مرجع DOI
    تم النسخ.
  2. Hastie, T., Tibshirani, R., & Friedman, J. (2009). The Elements of Statistical Learning (2nd ed., Ch. 4, 18). Springer.

    ردمك: 978-0-387-84857-0
    تم النسخ.