الانتقال إلى المحتوى
العودة إلى نتائج البحث

الانحدار اللوجستي (تعلم الآلة)

قدّمه
Cox, D. R.
السنة
1958
النوع
Probabilistic linear classifier
العائلة
Machine learning

هذا النص ترجمة آلية ولم تتم مراجعته بعد. اقرأ النص الأصلي بالإنجليزية

حجم الخط

ماذا تفعل؟

الانحدار اللوجستي هو مصنف احتمالي أساسي ينمذج اللوغاريتمات النسبية لنتيجة ثنائية (أو متعددة الحدود) كدالة خطية للمتنبئات. تم تقديمه بواسطة د. ر. كوكس في عام 1958، ولا يزال أحد أكثر طرق التصنيف استخدامًا وقابلية للتفسير على نطاق واسع في كل من الإحصاء وتعلم الآلة، ويُقدر لنتائجه الاحتمالية المعايرة وتفسير معاملاته الواضح.

الفكرة الحدسية وراء الطريقة

يسأل الانحدار اللوجستي: بالنظر إلى مجموعة من الميزات، ما هو احتمال أن ينتمي ملاحظة إلى فئة معينة؟ يقوم بتركيب خط مستقيم للوغاريتمات النسبية للنتيجة، ثم يضغط هذا المقياس الخطي من خلال منحنى سيجمويد (على شكل حرف S) لإنتاج احتمال بين 0 و 1. كل معامل للمتنبئ يخبرك مباشرة كيف يغير تغيير وحدة واحدة في هذه الميزة لوغاريتمات احتمالات الفئة الإيجابية، مما يجعل النموذج شفافًا للغاية. يتم تصنيف الاحتمال المتوقع فوق 0.5 على أنه الفئة الإيجابية، على الرغم من أن هذا الحد قابل للتعديل.

التاريخ

قام ديفيد كوكس بصياغة الانحدار اللوجستي للنتائج الثنائية في عام 1958، موسعًا العمل السابق على نماذج البروبيت. خلال السبعينيات والثمانينيات، أصبح المصنف القياسي في علم الأوبئة والعلوم الاجتماعية. تم توحيد إطار الاحتمالية القصوى، الموسع للنتائج متعددة الحدود والمتغيرات المنظمة، بواسطة تيبشيراني لاسو (1996) و بواسطة هاستي، تيبشيراني، وفريدمان في كتابهم "عناصر التعلم الإحصائي" (2001). اليوم، لا يزال المصنف التفسيري القياسي وهو الأساس المطلوب في العديد من إرشادات مراجعة الأقران.

متى تُستخدم

استخدم الانحدار اللوجستي عندما تكون النتيجة ثنائية أو فئوية، وحجم العينة معتدل على الأقل (أكثر من 10 أحداث لكل متنبئ كقاعدة عامة)، وتكون المعاملات القابلة للتفسير أو الاحتمالات المعايرة مطلوبة. إنه المصنف الأساسي الافتراضي في العلوم الاجتماعية والطب وعلم الأوبئة ويجب تجربته قبل النماذج الأكثر تعقيدًا. تجنب استخدامه عندما يكون حد القرار غير خطي بقوة، أو عندما تكون هناك حاجة إلى العديد من مصطلحات التفاعل، أو عندما تكون دقة التنبؤ على البيانات الجدولية المعقدة أكثر أهمية من القابلية للتفسير - في تلك الحالات، تتفوق مجموعات الأشجار أو آلات المتجهات الداعمة عادةً عليه.

الحدود والاعتبارات

  • يفترض علاقة خطية بين الميزات ولوغاريتمات احتمالات النتيجة؛ تتطلب الأنماط غير الخطية هندسة ميزات يدوية أو نموذجًا غير خطي.
  • حساس للتعددية الخطية بين المتنبئات: تضخم الميزات المترابطة الأخطاء المعيارية للمعاملات وتزعزع استقرار التقديرات.
  • يتطلب عددًا معقولًا من الأحداث لكل متنبئ (قاعدة عامة: 10 على الأقل)؛ تسبب فئات النتائج المتفرقة مشاكل في التقارب والإفراط في التجهيز.
  • قد يكون أداؤه أقل من طرق التجميع (الغابات العشوائية، تعزيز التدرج) على البيانات الجدولية المعقدة مع العديد من التفاعلات.

لا تغني شروط المصدر عن المراجعة العلمية المستقلة أو التحقق بواسطة محرك تحليل.

نقاط القوة

  • ينتج احتمالات فئة معايرة، وليس مجرد تسميات، والتي يمكن استخدامها مباشرة للترتيب وتحديد عتبة القرار.
  • المعاملات قابلة للتفسير كنسب لوغاريتمات الاحتمالات، وتفي بالمعايير المتوقعة في الأبحاث السريرية والعلوم الاجتماعية والسياسات.
  • سريع حسابيًا وفعال من حيث الذاكرة حتى على مجموعات البيانات الكبيرة.
  • تتعامل المتغيرات المنظمة (Ridge، Lasso، Elastic Net) مع الميزات عالية الأبعاد وتقوم بالاختيار التلقائي للميزات.
  • افتراضات خفيفة مقارنة بالتحليل التمييزي: لا يتطلب التوزيع الطبيعي متعدد المتغيرات للمتنبئات.
  • قوي ومفهوم جيدًا؛ يعمل كأساس قوي وموثوق يجب مقارنة النماذج المعقدة به.

التطبيقات

  • تشخيص الأمراض وتقييم المخاطر السريرية (على سبيل المثال، التنبؤ بإعادة الدخول أو الوفيات).
  • مخاطر الائتمان وكشف الاحتيال في التمويل.
  • نمذجة الاستجابة الاستقصائية الثنائية في العلوم الاجتماعية وعلم الأوبئة.
  • تصنيف البريد العشوائي والمشاعر كأساس نصي سريع وقابل للتفسير.
  • مصنف أساسي قبل نشر نماذج التجميع الأكثر تعقيدًا.

كيف يعمل

كيف يعمل

1

يتم حساب مجموع مرجح لجميع ميزات الإدخال. يتلقى كل ميزة معاملًا (وزنًا) يتم تعلمه من البيانات؛ يلتقط التقاطع لوغاريتمات الاحتمالات الأساسية عندما تكون جميع الميزات صفرًا. هذا مطابق في الشكل للانحدار الخطي ولكن يتم تفسير الناتج على أنه درجة لوغاريتمات الاحتمالات بدلاً من تنبؤ رقمي مباشر.

الصيغة
z = \beta_0 + \beta_1 x_1 + \cdots + \beta_p x_p
2

يتم تحويل المقياس الخطي بواسطة دالة السيجمويد، التي ترسم أي رقم حقيقي إلى الفترة المفتوحة (0، 1). هذا يعطي احتمال فئة معايرة جيدًا. بالنسبة للمشاكل متعددة الفئات، تقوم دالة السوفت ماكس بتعميم هذه الخطوة لإنتاج توزيع احتمالي على جميع الفئات.

الصيغة
P(y=1|\mathbf{x}) = \sigma(z) = \frac{1}{1 + e^{-z}}
3

يتم تقدير معلمات النموذج عن طريق تعظيم الاحتمالية اللوغاريتمية للتسميات المرصودة بالنظر إلى الاحتمالات المتوقعة. هذا يعادل تقليل خسارة الإنتروبيا المتقاطعة الثنائية. على عكس المربعات الصغرى العادية، لا يوجد حل مغلق الشكل: يتم استخدام خوارزمية تحسين تكرارية (عادة نيوتن-رافسون أو انحدار التدرج) للقيام بذلك.

الصيغة
\ell(\boldsymbol{\beta}) = \sum_{i=1}^{n} \left[ y_i \log \hat{p}_i + (1-y_i) \log(1-\hat{p}_i) \right]
4

يقوم محلل تكراري - مثل L-BFGS أو نيوتن-رافسون أو انحدار التدرج العشوائي - بتحديث متجه المعاملات حتى التقارب. يمكن إضافة حدود التنظيم (L1 أو L2) إلى الهدف لتقليص المعاملات، ومنع الإفراط في التجهيز وتمكين الاختيار التلقائي للميزات (L1 / Lasso).

5

يتم مقارنة الاحتمال المُركب بحد تصنيف (افتراضي 0.5) لتعيين تسمية فئة. في الإعدادات غير المتوازنة أو عندما تختلف تكاليف الإيجابيات الخاطئة والسلبية الخاطئة، يجب ضبط هذا الحد باستخدام منحنى الدقة-الاستدعاء أو تحليل ROC بدلاً من تركه عند 0.5.

الصيغة
\hat{y} = \mathbf{1}[\hat{p} \geq 0.5]

الأخطاء الشائعة

  • إغفال تقسيم التدريب/الاختبار أو التحقق المتقاطع وتقييم البيانات على بيانات التدريب، مما يؤدي إلى تضخيم الأداء الظاهري.
  • استخدام الدقة كمقياس وحيد مع فئات غير متوازنة بدلاً من الإبلاغ عن AUC-ROC، F1، ومصفوفة الارتباك.
  • تجاهل الافتراض الخطي وتطبيق الانحدار اللوجستي على البيانات ذات الحدود الفئوية غير الخطية بقوة دون فحوصات تشخيصية.
  • الفشل في تطبيق التنظيم عندما يكون عدد المتنبئات كبيرًا بالنسبة لحجم العينة، مما يؤدي إلى الإفراط في التجهيز.
  • عدم التحقق من التعددية الخطية (عبر VIF) قبل تفسير مقادير المعاملات.

الأسئلة الشائعة

متى يجب أن أفضل الانحدار اللوجستي على الغابة العشوائية؟

عندما تحتاج إلى احتمالات معايرة، أو معاملات قابلة للتفسير، أو يجب عليك تلبية معايير الإبلاغ التي تتطلب نسب احتمالات صريحة - كما في التجارب السريرية أو تقييم السياسات. تحقق الغابة العشوائية عادةً دقة تنبؤ أعلى ولكنها لا توفر تفسيرًا مباشرًا للمعاملات.

كم عدد الملاحظات التي أحتاجها؟

قاعدة عامة شائعة الاستشهاد بها هي 10 أحداث على الأقل (نتائج إيجابية) لكل متغير متنبئ. مع عدد أقل من الأحداث، تصبح تقديرات المعلمات غير مستقرة وفترات الثقة غير موثوقة. يمكن للتنظيم أو الاحتمالية المعاقبة توسيع النطاق القابل للاستخدام إلى حد ما.

هل يجب علي توحيد ميزاتي؟

لا يلزم توحيد الميزات للتنبؤ، ولكنه مهم عند مقارنة مقادير المعاملات عبر المتنبئات أو عند استخدام التنظيم (L1 أو L2)، لأن العقوبات تعامل جميع المعاملات على نفس المقياس.

ما الفرق بين الانحدار اللوجستي الثنائي والمتعدد الحدود؟

ينمذج الانحدار اللوجستي الثنائي نتيجة من فئتين باستخدام دالة السيجمويد. يقوم الانحدار اللوجستي متعدد الحدود (سوفت ماكس) بتعميم هذا لثلاث فئات أو أكثر غير مرتبة، ويقدر مجموعة واحدة من المعاملات لكل فئة بالنسبة لفئة مرجعية.

كيف أتعامل مع عدم توازن الفئات؟

قم بتعيين class_weight='balanced' في scikit-learn لإعادة وزن دالة الخسارة، أو قم بزيادة عينات الفئة الأقلية (SMOTE). قم دائمًا بالتقييم باستخدام منحنيات AUC-ROC والدقة-الاستدعاء بدلاً من الدقة، واضبط حد التصنيف على مجموعة تحقق.

طرق ذات صلة

المصادر

  1. Cox, D. R. (1958). The regression analysis of binary sequences. Journal of the Royal Statistical Society, Series B, 20(2), 215–242.

    افتح مرجع DOI
    تم النسخ.
  2. James, G., Witten, D., Hastie, T. & Tibshirani, R. (2013). An Introduction to Statistical Learning (Ch. 4). Springer.

    ردمك: 978-1-4614-7138-7
    تم النسخ.