التعلم النشط باستخدام LightGBM
- قدّمه
- Settles, B. (active learning); Ke, G. et al. (LightGBM)
- السنة
- 2017–present
- النوع
- Hybrid (active learning query strategy + gradient boosting classifier)
- العائلة
- Machine learning
هذا النص ترجمة آلية ولم تتم مراجعته بعد. اقرأ النص الأصلي بالإنجليزية
ماذا تفعل؟
يجمع التعلم النشط باستخدام LightGBM بين استراتيجية اختيار الاستعلام الفعالة للتعلم النشط وسرعة ودقة LightGBM، وهو إطار عمل لتعزيز التدرج يعتمد على الهيستوجرام. يختار النموذج بشكل تكراري الحالات غير المسماة الأكثر إفادة للتعليق البشري، ويعيد تدريب LightGBM على المجموعة المسماة المتنامية، ويتقارب إلى دقة عالية مع عدد أقل بكثير من الأمثلة المسماة مقارنة بالتعلم المراقب السلبي.
الفكرة الحدسية وراء الطريقة
تسمية البيانات مكلفة. يعالج التعلم النشط باستخدام LightGBM هذه المشكلة باستخدام نموذج LightGBM الحالي لتحديد العينات غير المسماة التي يكون أكثر غموضًا بشأنها - تلك القريبة من حدود القرار أو ذات أعلى إنتروبيا للتنبؤ - ويطلب من مُعلق بشري تسميات تلك العينات فقط. نظرًا لأن LightGBM سريع التدريب وينتج تقديرات احتمالية معايرة جيدًا من خلال تعزيز التدرج، فإن إشارة عدم اليقين هذه موثوقة. على مدار عدة جولات استعلام، يتعلم النموذج أين يحتاج إلى المعلومات الأكثر، ويبني الدقة بأقل جهد تعليق.
التاريخ
تم تنظيم مجال التعلم النشط بواسطة Settles (2012)، مستفيدًا من الأعمال السابقة حول أخذ العينات الانتقائي وتعلم الاستعلام من التسعينيات. تم تقديم LightGBM بواسطة Ke وآخرون في NeurIPS 2017 كتنفيذ فعال للغاية لتعزيز التدرج باستخدام تقسيمات الهيستوجرام والنمو الورقي. أصبح جمعهما شائعًا في تعلم الآلة التطبيقي من حوالي عام 2018 فصاعدًا، لا سيما في التعليق الطبي الحيوي، والاستشعار عن بعد، ومراقبة الجودة الصناعية، حيث تكون تكاليف التسمية مرتفعة والبيانات الجدولية أو الغنية بالميزات وفيرة.
متى تُستخدم
استخدم التعلم النشط باستخدام LightGBM عندما تكون تكلفة التعليق هي القيد الأساسي: توجد مجموعات كبيرة من البيانات الجدولية غير المسماة ولكن تسمية كل حالة مكلفة من حيث الوقت أو المال، وهناك حاجة إلى دقة على مستوى LightGBM. يتفوق عندما يكون توزيع الفئات غير متوازن أو تكون البيانات غير المسماة وفيرة ولكن البيانات المسماة نادرة. لا تستخدمه عندما يمكن تسمية مجموعة البيانات بأكملها بتكلفة زهيدة، أو عندما تصل البيانات فقط كمجموعة مسماة بالكامل (يكفي التعلم السلبي)، أو عندما يكون الخبير (المُعلق) غير موثوق به أو غير متاح بشكل تفاعلي، أو عندما يكون تفسير كل قرار مطلوبًا بشكل صارم دون أدوات لاحقة.
الحدود والاعتبارات
- تتطلب استراتيجية الاستعلام ومعيار الإيقاف اختيارًا دقيقًا؛ الخيارات الخاطئة تهدر ميزانية التسمية.
- تضيف كل جولة زمن انتقال إذا تمت إعادة التدريب من البداية؛ قد تكون مجموعات البيانات الكبيرة ذات الجولات العديدة بطيئة.
- يعتمد الأداء على خبير موثوق به؛ تسميات بشرية مشوشة أو غير متسقة تؤدي إلى تدهور النموذج بسرعة.
- غير مناسب للإعدادات المتدفقة أو عبر الإنترنت بالكامل دون تكييف مع التدريب التزايدي لـ LightGBM.
لا تغني شروط المصدر عن المراجعة العلمية المستقلة أو التحقق بواسطة محرك تحليل.
نقاط القوة
- يقلل بشكل كبير من جهد التعليق من خلال تركيز التسمية على الحالات الأكثر إفادة.
- تسمح سرعة LightGBM بإعادة التدريب السريع بين جولات الاستعلام، مما يجعل سير العمل التفاعلي عمليًا.
- يتعامل بشكل جيد مع البيانات الجدولية عالية الأبعاد، بما في ذلك الميزات الفئوية عبر دعم LightGBM الأصلي.
- متوافق مع استراتيجيات استعلام متعددة (أخذ عينات عدم اليقين، الهامش، الإنتروبيا، الاستعلام المستند إلى اللجنة).
- يتعامل بشكل طبيعي مع عدم توازن الفئات من خلال معلمات LightGBM لوزن الفئة (class-weight) ووزن الموضع الإيجابي (scale-pos-weight).
التطبيقات
- التعليق على السجلات الطبية ومعالجة اللغة الطبيعية السريرية، حيث يكون التعليق الخبير مكلفًا.
- الاستشعار عن بعد وتصنيف صور الأقمار الصناعية مع تغطية جزئية للحقيقة الأرضية.
- الكشف عن العيوب الصناعية على بيانات المستشعرات الجدولية مع فحص يدوي مكلف.
- الكشف عن الاحتيال وتقييم المخاطر مع تسميات احتيال مؤكدة محدودة.
- فحص الأدبيات العلمية في المراجعات المنهجية لتحديد أولويات الوثائق للقراءة الكاملة للنص.
كيف يعمل
كيف يعمل
يتم سحب مجموعة صغيرة أولية من الأمثلة المسماة عشوائيًا من البيانات المتاحة. تشكل هذه المجموعة الأولية للتدرج. تشكل الحالات غير المسماة المتبقية مجموعة الاستعلام التي سيطلب النموذج منها التعليقات في الجولات اللاحقة.
يتم تدريب LightGBM على المجموعة المسماة الحالية باستخدام نمو الشجرة الورقية المستند إلى الهيستوجرام، مما يوفر تدريبًا سريعًا وأداء تنبؤيًا قويًا حتى على المجموعات المسماة الصغيرة. يتم إنتاج تقديرات الاحتمالات لكل فئة لجميع الحالات في المجموعة غير المسماة.
تقوم دالة الاكتساب بتقييم كل حالة غير مسماة حسب مدى إفادتها - عادةً إنتروبيا التنبؤ H(y|x)، أو أخذ عينات الهامش، أو عدم الاتفاق في الاستعلام المستند إلى اللجنة. يتم اختيار الحالة (الحالات) ذات أعلى درجة للتعليق في هذه الجولة.
الصيغة
x^* = \arg\max_{x \in U}\, H(y \mid x, \mathcal{L})يتم تقديم الحالة (الحالات) المختارة إلى خبير بشري - خبير في المجال، أو منصة تجميع جماعي، أو مُعلق آلي - يقدم تسمية الفئة الحقيقية. هذه هي الخطوة الوحيدة التي تتطلب مدخلات خارجية؛ تكلفتها وموثوقيتها تقيد بشكل مباشر عدد جولات الاستعلام الممكنة.
تتم إضافة الحالات المسماة حديثًا إلى مجموعة التدريب ويتم إعادة تدريب LightGBM من البداية (أو تحديثها تدريجيًا حيثما كان ذلك مدعومًا). تتكرر الدورة حتى يتم الوصول إلى ميزانية التسمية، أو عتبة الدقة، أو الحد الأقصى لجولات الاستعلام.
الأخطاء الشائعة
- تقييم الأداء فقط على المجموعة المسماة المختارة بنشاط، والتي تكون متحيزة نحو الأمثلة الصعبة - احتفظ دائمًا بمجموعة اختبار عشوائية قبل بدء حلقة التعلم النشط.
- تجاهل حساسية البداية الباردة: إذا كانت المجموعة الأولية صغيرة جدًا أو غير ممثلة، يمكن أن تكون الاستعلامات المبكرة مضللة.
- استخدام احتمالات غير معايرة كدرجات عدم يقين دون التحقق من معايرة LightGBM (يساعد قياس بلات أو الانحدار المتناظر).
- معاملة المجموعة المسماة على أنها مستقلة ومتطابقة التوزيع (i.i.d.) عند الإبلاغ عن مقاييس التعميم - المجموعة المسماة بنشاط ليست عينة عشوائية من السكان.
الأسئلة الشائعة
أي استراتيجية استعلام تعمل بشكل أفضل مع LightGBM؟
يعد أخذ عينات عدم اليقين عبر إنتروبيا التنبؤ نقطة البداية الأكثر شيوعًا لأن LightGBM ينتج احتمالات الفئة مباشرة. غالبًا ما يكون أخذ عينات الهامش (الفرق بين احتمالات أعلى فئتين) أكثر قوة عندما تكون أعداد الفئات غير متساوية جدًا. يتطلب الاستعلام المستند إلى اللجنة تدريب نماذج متعددة ولكنه يمكن أن يقلل من التحيز الناتج عن تقديرات عدم اليقين لنموذج واحد.
كم عدد الأمثلة المسماة المطلوبة للبدء؟
مجموعة أولية تتكون من مثال واحد على الأقل لكل فئة مطلوبة؛ في الممارسة العملية، توفر 10-50 حالة مسماة مختارة عشوائيًا لكل فئة إشارة كافية لـ LightGBM لإنتاج تقديرات عدم يقين ذات مغزى لجولة الاستعلام الأولى.
هل يجب علي إعادة تدريب LightGBM من البداية في كل جولة؟
تضمن إعادة التدريب من البداية أن يعكس النموذج بشكل كامل المجموعة المسماة المحدثة وهي ممارسة قياسية. بالنسبة لمجموعات البيانات الكبيرة جدًا أو الجولات العديدة، توجد أساليب تزايدية ولكنها تتطلب عناية لتجنب انحراف النموذج.
كيف أعرف متى أتوقف عن الاستعلام؟
تشمل قواعد الإيقاف الشائعة: الوصول إلى ميزانية تسمية ثابتة، أو استقرار دقة التحقق المحجوزة عبر عدة جولات، أو انخفاض الحد الأقصى لدرجة عدم اليقين دون عتبة معينة. مراقبة أداء مجموعة اختبار عشوائية محجوزة عبر الجولات هي المؤشر الأكثر موثوقية.
هل التعلم النشط باستخدام LightGBM هو نفسه التعلم شبه المراقب؟
لا. يستخدم التعلم شبه المراقب البيانات غير المسماة مباشرة في التدريب (على سبيل المثال، التسميات الزائفة أو تنظيم الاتساق). يستعلم التعلم النشط من خبير بشري للحصول على تسميات حقيقية للحالات غير المسماة المختارة؛ لا يتم استخدام البيانات غير المسماة بدون تسمية مستعلمة للتدريب ببساطة.
طرق ذات صلة
المصادر
Settles, B. (2012). Active Learning. Synthesis Lectures on Artificial Intelligence and Machine Learning, 6(1), 1–114. Morgan & Claypool.
افتح مرجع DOIتم النسخ.Ke, G., Meng, Q., Finley, T., Wang, T., Chen, W., Ma, W., Ye, Q., & Liu, T.-Y. (2017). LightGBM: A Highly Efficient Gradient Boosting Decision Tree. Advances in Neural Information Processing Systems, 30, 3146–3154.
افتح مرجع المنشورتم النسخ.