الانتقال إلى المحتوى
العودة إلى نتائج البحث

الانحدار اللوجستي للتعلم النشط

قدّمه
Lewis, D. D. & Gale, W. A.; Settles, B. (survey)
السنة
1994–2010
النوع
Active learning framework with logistic regression base learner
العائلة
Machine learning

هذا النص ترجمة آلية ولم تتم مراجعته بعد. اقرأ النص الأصلي بالإنجليزية

حجم الخط

ماذا تفعل؟

التعلم النشط مع الانحدار اللوجستي هو إطار عمل تكراري فعال من حيث التسمية حيث يختار نموذج الانحدار اللوجستي الأمثلة غير المسماة التي يكون أكثر غموضًا بشأنها، ويقوم مصدر (مُعلِّق بشري) بتسميتها، ويُعاد تدريب النموذج - ويتكرر ذلك حتى يتم استيفاء ميزانية التسمية أو هدف الدقة. إنه يقلل بشكل كبير من تكلفة التعليق مقارنة بالتسمية العشوائية.

الفكرة الحدسية وراء الطريقة

تسمية البيانات مكلفة. بدلاً من التعليق على عينة عشوائية، تخيل أن النموذج اللوجستي يشير فقط إلى الأمثلة التي يكون فيها الاحتمال المتوقع أقرب إلى 0.5 - مما يعني أنه غير قادر حقًا على اتخاذ قرار. يقوم خبير بتسمية هذه الحالات الحدودية فقط، ويُعاد تدريب النموذج. نظرًا لأن كل مثال مُسمى يحمل أقصى قدر من المعلومات، فإن النموذج يصل إلى دقة جيدة بعدد أقل بكثير من التسميات مقارنة بالتعلم السلبي. يُفضل الانحدار اللوجستي هنا لأنه يوفر احتمالات معايرة تعكس عدم اليقين بشكل مباشر.

التاريخ

تمت صياغة التعلم النشط كإطار عمل في أوائل التسعينيات. قدم لويس وجيل (1994) أخذ عينات عدم اليقين لتصنيف النصوص باستخدام متعلم بايز الساذج، وتم تكييف النهج بسرعة مع الانحدار اللوجستي. أصبح مسح سيتلز لعام 2010 المرجع الأساسي، حيث قام بتصنيف استراتيجيات الاستعلام بما في ذلك أقل ثقة، وأخذ عينات الهامش، والإنتروبيا. لا يزال الانحدار اللوجستي هو المتعلم الأساسي الأكثر استشهادًا في معايير التعلم النشط المجمعة لأن احتمالاته معايرة وتكلفة إعادة تدريبه منخفضة.

متى تُستخدم

استخدم التعلم النشط مع الانحدار اللوجستي عندما تكون التعليقات مكلفة (السجلات الطبية، الوثائق القانونية، استطلاعات الخبراء) والبيانات غير المسماة وفيرة، ولكن ميزانية التسمية الإجمالية محدودة. يتفوق في تصنيف النصوص الثنائية أو متعددة الفئات، وتحليل المشاعر، والترميز السريري عندما تكون الميزات قابلة للفصل خطيًا بشكل معقول. تجنبه عندما (أ) يكون حد القرار غير خطي للغاية ولا يمكن للانحدار اللوجستي نمذجته حتى مع هندسة الميزات، (ب) يكون المصدر غير موثوق به أو مكلفًا للاستعلام بشكل متكرر، (ج) تكون مجموعة البيانات المسماة كبيرة بما يكفي للإشراف الكامل بالفعل، أو (د) تكون مجموعة البيانات غير المسماة صغيرة جدًا للاستفادة من الاستعلام الانتقائي.

الحدود والاعتبارات

  • يتدهور الأداء عندما يكون حد القرار الحقيقي غير خطي؛ في مثل هذه الحالات، يكون SVM النواة أو المتعلم النشط العصبي مفضلًا.
  • يمكن أن تنشئ أخذ عينات عدم اليقين مجموعة بيانات مسماة متحيزة تفرط في تمثيل الحالات الحدودية وتقلل من تمثيل الجزء الأكبر من كل فئة.
  • يتطلب تفاعلًا متكررًا مع المصدر، مما يضيف عبئًا لوجستيًا مقارنة بدفعة تسمية واحدة.
  • البداية الباردة: تؤثر مجموعة البذرة الأولية بشكل كبير على الاستعلامات المبكرة، لذا فإن بذرة مختارة بشكل سيء يمكن أن تبطئ التقارب.

لا تغني شروط المصدر عن المراجعة العلمية المستقلة أو التحقق بواسطة محرك تحليل.

نقاط القوة

  • يقلل بشكل كبير من عدد التسميات المطلوبة للوصول إلى دقة مستهدفة مقارنة بأخذ العينات العشوائية.
  • يوفر الانحدار اللوجستي احتمالات معايرة بشكل أصلي، مما يجعل تقديرات عدم اليقين موثوقة دون معايرة إضافية.
  • شفاف وقابل للتدقيق: يمكن فحص كل من النموذج الخطي ومعيار الاستعلام.
  • رخيص حسابيًا لإعادة التدريب بعد كل استعلام، مما يتيح سير عمل التعليق في الوقت الفعلي أو شبه الفعلي.
  • ينتقل بسلاسة إلى تصنيف النصوص باستخدام تمثيلات الميزات TF-IDF أو حقيبة الكلمات.

التطبيقات

  • تصنيف النصوص وتحليل المشاعر باستخدام مجموعات بيانات محدودة مسماة.
  • ترميز السجلات الطبية ومعالجة اللغات الطبيعية السريرية حيث تكون التعليقات المتخصصة مكلفة.
  • خطوط أنابيب التعليق النشط لاستطلاعات العلوم الاجتماعية والإشراف على المحتوى.
  • ردود فعل على ملاءمة استرجاع المعلومات حيث يقوم المستخدمون بتسمية المستندات غير المؤكدة فقط.
  • التعرف على الكيانات الطبية الحيوية عن طريق التمهيد بتعليقات بذرة قليلة.

كيف يعمل

كيف يعمل

1

يتم تجميع مجموعة بذرة صغيرة من الأمثلة المسماة - غالبًا من 10 إلى بضع مئات من الحالات اعتمادًا على المجال. يتم تدريب نموذج انحدار لوجستي على مجموعة البذرة هذه لإنشاء حدود قرار أولية. تشكل الحالات غير المسماة المتبقية المجموعة التي سيتم سحب الاستعلامات منها.

2

يقوم الانحدار اللوجستي بتناسب حدود قرار خطي عن طريق زيادة احتمالية السجل لمجموعة البيانات المسماة. يكون الناتج هو احتمال P(y=1|x) = sigmoid(w^T x) لكل حالة. نظرًا لأن الانحدار اللوجستي ينتج احتمالات معايرة، فإن درجات الثقة الخاصة به قابلة للتفسير مباشرة كتقديرات لعدم اليقين - وهو سبب رئيسي لكونه يتوافق بشكل طبيعي مع التعلم النشط.

الصيغة
P(y=1 \mid x) = \sigma(\mathbf{w}^\top x)
3

يتم تقييم كل حالة غير مسماة في المجموعة بمعيار عدم اليقين. الأكثر شيوعًا هو أخذ عينات بأقل ثقة: يختار النموذج الحالة التي يكون فيها احتمال الفئة الأقصى هو الأدنى (أي أن النموذج أقل تأكدًا). بالنسبة للمشاكل الثنائية، يقل هذا إلى اختيار النقاط الأقرب إلى حدود القرار (الاحتمال المتوقع الأقرب إلى 0.5).

الصيغة
x^* = \arg\min_{x \in U} \max_y P(y \mid x, \hat{\theta})
4

يتم تقديم الحالة الأكثر غموضًا (أو دفعة من الحالات الأكثر غموضًا) إلى مُعلِّق بشري أو مصدر لتسميتها. يوفر المصدر تسمية الفئة الحقيقية، والتي تضاف إلى مجموعة التدريب المسماة. تحدد ميزانية تسمية ثابتة عدد الاستعلامات التي يُسمح للحلقة بإجرائها.

5

يُعاد تدريب نموذج الانحدار اللوجستي على مجموعة البيانات المسماة الموسعة. يتم تقييم الأداء على مجموعة تحقق منفصلة. إذا لم يتم استنفاد الميزانية ولم يتم الوصول إلى هدف الدقة، تعود الحلقة إلى خطوة تقييم عدم اليقين. تنتهي العملية عند نفاد الميزانية أو استقرار الأداء.

الأخطاء الشائعة

  • تقييم الأداء فقط على مجموعة البيانات المسماة المختارة بنشاط بدلاً من مجموعة تحقق منفصلة مستقلة وموزعة بشكل متماثل، مما يضخم تقديرات الدقة.
  • تجاهل اختلال توازن الفئات في مجموعة البذرة - تسبب بذرة غير متوازنة النموذج في الاستعلام بشكل شبه حصري من حدود الفئة الأقلية.
  • تطبيق أخذ عينات عدم اليقين على مجموعة بيانات بها تحول في التوزيع بين البيانات المسماة وغير المسماة دون ترجيح الكثافة أو تصحيح التمثيل.
  • معاملة النموذج النهائي على أنه انحدار لوجستي قياسي دون مراعاة أخذ العينات المتحيزة عند الإبلاغ عن فترات الثقة أو اختبارات الفرضيات.

الأسئلة الشائعة

لماذا استخدام الانحدار اللوجستي بدلاً من نموذج أكثر قوة؟

يوفر الانحدار اللوجستي احتمالات معايرة بشكل جيد، ويعيد التدريب بسرعة بعد كل استعلام، وهو قابل للتفسير - وكلها أمور حاسمة في حلقات التعلم النشط حيث يتم تحديث النموذج عدة مرات ويجب أن تكون درجات عدم اليقين جديرة بالثقة. يمكن استخدام نماذج أكثر تعقيدًا ولكنها تزيد من تكلفة إعادة التدريب وقد تتطلب معايرة الاحتمالات (مثل قياس بلات لـ SVMs).

كم عدد تسميات البذرة التي أحتاجها للبدء؟

لا توجد قاعدة ثابتة، ولكن 10-50 مثالًا مُسمى لكل فئة هي نقاط انطلاق شائعة في الأدبيات. عدد قليل جدًا من البذور ينتج نموذجًا أوليًا غير مستقر تكون تقديرات عدم اليقين الخاصة به غير موثوقة؛ الكثير يهزم الغرض من التعلم النشط.

ما الفرق بين أخذ عينات عدم اليقين والاستعلام بواسطة لجنة؟

يستخدم أخذ عينات عدم اليقين ثقة تنبؤ نموذج واحد لاختيار الاستعلامات. يقوم الاستعلام بواسطة لجنة بتدريب لجنة من النماذج ويختار النقاط التي تختلف فيها أكثر. بالنسبة للانحدار اللوجستي، فإن أخذ عينات عدم اليقين (أقل ثقة أو إنتروبيا) هو الأكثر شيوعًا لأنه يحتاج إلى نموذج واحد فقط.

هل يمكنني استخدام استعلامات الدُفعات بدلاً من استعلام واحد في كل مرة؟

نعم. يختار التعلم النشط في وضع الدُفعات أهم k حالات غير مؤكدة في كل جولة لتقليل تكرار تفاعل المصدر. تتمثل إحدى الاستراتيجيات الشائعة في استخدام حجم دفعة من 10-50، وإعادة التدريب بعد كل دفعة بدلاً من بعد كل استعلام فردي.

كيف أقوم بتقييم منحنى التعلم النشط؟

ارسم دقة التصنيف (أو F1، AUC) على مجموعة اختبار ثابتة منفصلة كدالة لعدد التسميات المستعلم عنها. قارن هذا المنحنى بخط أساس لأخذ العينات العشوائية. تقيس المساحة تحت منحنى التعلم بالنسبة لأخذ العينات العشوائية مكاسب كفاءة التسمية.

طرق ذات صلة

المصادر

  1. Settles, B. (2010). Active Learning Literature Survey. Computer Sciences Technical Report 1648, University of Wisconsin–Madison.

    افتح مرجع المنشور
    تم النسخ.
  2. Lewis, D. D., & Gale, W. A. (1994). A sequential algorithm for training text classifiers. Proceedings of the 17th Annual International ACM SIGIR Conference on Research and Development in Information Retrieval, 3–12.

    افتح مرجع DOI
    تم النسخ.