تعزيز التدرج شبه المُشرف عليه
- قدّمه
- Chapelle, Scholkopf & Zien (eds.); applied to GBM variants in subsequent literature
- السنة
- 2006–2010s
- النوع
- Semi-supervised ensemble (self-training + gradient boosted trees)
- العائلة
- Machine learning
هذا النص ترجمة آلية ولم تتم مراجعته بعد. اقرأ النص الأصلي بالإنجليزية
ماذا تفعل؟
يجمع تعزيز التدرج شبه المُشرف عليه بين أشجار التدرج المُعززة والتدريب الذاتي أو التوسيم الزائف لاستغلال مجموعات كبيرة من البيانات غير المُصنفة جنبًا إلى جنب مع مجموعة صغيرة مُصنفة. يقوم نموذج تعزيز التدرج الأولي المُناسب على البيانات المُصنفة بتعيين تنبؤات واثقة للأمثلة غير المُصنفة؛ يتم دمج هذه النقاط ذات التوسيم الزائف مرة أخرى في التدريب ويتم إعادة تعزيز النموذج، ويتكرر ذلك حتى التقارب. يسمح هذا للممارسين بالاستفادة من البيانات غير المُصنفة الرخيصة عندما تكون التصنيفات نادرة أو باهظة الثمن.
الفكرة الحدسية وراء الطريقة
تخيل أن لديك 200 استجابة استبيان مُصنفة و 10,000 استجابة غير مُصنفة. نموذج تعزيز التدرج المُدرب فقط على الـ 200 مثال مُصنف جيد بالفعل. يستخدم تعزيز التدرج شبه المُشرف عليه هذا النموذج لتصنيف الاستجابات غير المُصنفة التي يشعر بالثقة بشأنها، ويقوم بتوسيمها مؤقتًا، ثم يعيد التدريب على المجموعة المدمجة الأكبر بكثير. تتكرر الدورة: في كل جولة يتحسن النموذج لأنه يرى المزيد من الأمثلة، وتؤدي التنبؤات الأفضل إلى توسيمات زائفة ذات جودة أعلى للجولة التالية. يعمل غالبية البيانات غير المُصنفة بشكل فعال كجهاز تنظيم مجاني وجهاز لزيادة البيانات.
التاريخ
تم تنظيم التعلم شبه المُشرف عليه في مجلد MIT Press لعام 2006 لـ Chapelle و Scholkopf و Zien. يعود متغير التدريب الذاتي / التوسيم الزائف إلى Yarowsky (1995) في معالجة اللغة الطبيعية وتمت صياغته لاحقًا بواسطة Lee (2013) في سياق الشبكات العميقة، ولكن نفس المبدأ ينطبق مباشرة على أشجار التدرج المُعززة. قدم CatBoost (Prokhorenkova et al.، 2018) امتدادات شبه مُشرفة مدمجة؛ استكشفت الأعمال اللاحقة جداول التوسيم الزائف ومعايرة الثقة خصيصًا لنماذج تعزيز التدرج في المجالات الطبية الحيوية والصناعية طوال العقدين الأول والثاني من القرن الحادي والعشرين.
متى تُستخدم
استخدم تعزيز التدرج شبه المُشرف عليه عندما تكون البيانات المُصنفة نادرة (على سبيل المثال، أقل من بضع مئات من الأمثلة) ولكن تتوفر كميات كبيرة من البيانات غير المُصنفة من نفس التوزيع، ويكون جمع التصنيفات الإضافية مكلفًا. إنه مناسب تمامًا لمهام التصنيف والانحدار الجدولية حيث يؤدي نموذج تعزيز التدرج أداءً جيدًا بالفعل على المجموعة المُصنفة وحدها. تجنبه عندما: تأتي البيانات المُصنفة وغير المُصنفة من توزيعات مختلفة (سيؤدي تحول التوزيع إلى تضخيم الخطأ)؛ دقة النموذج الأساسي على البيانات المُصنفة منخفضة جدًا (التوسيمات الزائفة الضعيفة تفسد إعادة التدريب)؛ أو أن المجموعة المُصنفة كبيرة بما يكفي بالفعل لإشباع نموذج تعزيز التدرج القياسي، وفي هذه الحالة تكون تكلفة شبه المُشرف عليه ذات فائدة ضئيلة.
الحدود والاعتبارات
- تعتمد جودة التوسيم الزائف على النموذج الأساسي؛ يمكن لنموذج أولي ضعيف أن يفسد التكرارات اللاحقة.
- يفترض أن البيانات المُصنفة وغير المُصنفة مستمدة من نفس التوزيع - انتهاك هذا يسبب تضخيمًا للخطأ.
- يضيف ضبط العتبة (tau) معلمة فائقة بدون قيمة افتراضية مبدئية.
- تزداد التكلفة الحسابية مع كل تكرار تدريب ذاتي، خاصة على مجموعات البيانات غير المُصنفة الكبيرة.
- يجب إجراء التحقق على البيانات المُصنفة فقط؛ التحقق المتقاطع القياسي على المجموعة المُعززة يضخم التقديرات.
لا تغني شروط المصدر عن المراجعة العلمية المستقلة أو التحقق بواسطة محرك تحليل.
نقاط القوة
- يستفيد من البيانات غير المُصنفة الرخيصة لتحسين الأداء عندما تكون التصنيفات باهظة الثمن أو نادرة.
- متوافق مع أي تطبيق لتعزيز التدرج (XGBoost، LightGBM، CatBoost، scikit-learn) دون تغييرات معمارية.
- يوفر ترشيح الثقة بوابة جودة مدمجة تحد من ضوضاء التوسيم الزائف.
- يحافظ على قوة التنبؤ الكاملة ونمذجة تفاعل الميزات لأشجار التدرج المُعززة.
- يسمح التحسين التكراري بالدمج التدريجي للبيانات غير المُصنفة مع تحسن النموذج.
التطبيقات
- التشخيص الطبي حيث تكون سجلات المرضى المُصنفة محدودة ولكن الملاحظات السريرية غير المُصنفة وفيرة.
- الكشف عن العيوب الصناعية باستخدام مجموعة صغيرة من أمثلة الأخطاء المُصنفة وتيار إنتاج كبير غير مُصنف.
- تصنيف النصوص وتحليل المشاعر باستخدام أمثلة بذور مُصنفة مُعززة بملفات نصية غير مُصنفة.
- تقييم الائتمان عندما يكون جزء فقط من التطبيقات التاريخية لديه نتائج تخلف مؤكدة.
- الاستشعار عن بعد والتصنيف الجغرافي المكاني الذي يجمع بين قياسات ميدانية مُصنفة قليلة مع ميزات صور الأقمار الصناعية غير المُصنفة الكبيرة.
كيف يعمل
كيف يعمل
يتم تدريب نموذج تعزيز التدرج القياسي (XGBoost، LightGBM، CatBoost، scikit-learn GBM، إلخ) على الأمثلة المُصنفة المتاحة باستخدام تقليل خسارة مُشرف عليه قياسي. يجب أن يكون هذا النموذج الأساسي دقيقًا بشكل معتدل على الأقل حتى يساعد التوسيم الزائف بدلاً من إلحاق الضرر.
يتم تطبيق النموذج الأساسي على كل مثال غير مُصنف. يتم قبول التنبؤات التي تتجاوز عتبة الثقة tau (على سبيل المثال، احتمالية التنبؤ فوق 0.9 للتصنيف، أو التنبؤات ضمن فترة ضيقة للانحدار) كتوسيمات زائفة. يحد ترشيح الثقة العالية من انتشار الأخطاء في الجولات المبكرة.
الصيغة
\hat{y}_u = f^{(t)}(x_u),\; \text{confidence} \geq \tauيتم إلحاق الأمثلة ذات التوسيم الزائف المقبولة بمجموعة التدريب المُصنفة، مع إمكانية ترجيحها بأقل من 1.0 لتعكس أصلها غير المؤكد. تصبح مجموعة البيانات المدمجة الآن أكبر بكثير وقد تغطي مساحة الميزات بشكل أفضل.
يتم تدريب نموذج تعزيز تدرج جديد من الصفر (أو تم بدء تشغيله دافئًا) على مجموعة البيانات المُعززة. نظرًا لأن تعزيز التدرج متسلسل بطبيعته وحساس لضوضاء التصنيف، فإن مراقبة خسارة التحقق على مجموعة البيانات المُصنفة المحجوزة ضرورية للكشف عن التدهور الناجم عن التوسيمات الزائفة الصاخبة.
تتكرر الخطوات من 2 إلى 4 لعدد ثابت من الجولات أو حتى التقارب، والذي يتم تعريفه على أنه تغيير ضئيل في مقياس التحقق أو عدم وجود أمثلة غير مُصنفة جديدة تعبر عتبة الثقة. في كل جولة، يمكن تخفيف عتبة الثقة تدريجيًا لتشمل المزيد من البيانات ذات التوسيم الزائف.
الأخطاء الشائعة
- استخدام البيانات ذات التوسيم الزائف في طية التحقق، مما يعطي تقديرًا متحيزًا بشكل متفائل للأداء.
- ضبط عتبة الثقة منخفضة جدًا في الجولات المبكرة، مما يغمر إعادة التدريب بتصنيفات صاخبة ويسبب نقلًا سلبيًا.
- تجاهل تحول التوزيع بين البيانات المُصنفة وغير المُصنفة، مما قد يؤدي إلى تدهور الأداء إلى ما دون خط الأساس المُشرف عليه.
- الفشل في ترجيح الأمثلة ذات التوسيم الزائف بأقل من 1.0، مما يعطي التنبؤات غير المؤكدة نفس المكانة مثل التصنيفات التي تم التحقق منها بواسطة الإنسان.
- التوقف عند جولة واحدة من التوسيم الزائف بدلاً من التكرار حتى التقارب.
الأسئلة الشائعة
كيف أختار عتبة الثقة؟
ابدأ بحذر - للتصنيف الثنائي، القيم فوق 0.9 شائعة في الجولة الأولى. راقب دقة التحقق من مجموعة البيانات المُصنفة بعد كل جولة وقم بتخفيف العتبة تدريجيًا فقط إذا استمر الأداء أو تحسن. لا توجد قيمة مبدئية واحدة؛ تعامل معها كمعلمة فائقة قابلة للضبط.
هل يجب ترجيح الأمثلة ذات التوسيم الزائف بنفس قدر الأمثلة المُصنفة؟
بشكل عام لا. يؤدي تعيين وزن أقل من 1.0 (على سبيل المثال، 0.5) للأمثلة ذات التوسيم الزائف إلى تقليل تأثير التنبؤات غير المؤكدة على دالة الخسارة. تربط بعض التطبيقات الوزن بثقة النموذج المتوقعة، مما يعطي وزنًا أعلى للتوسيمات الزائفة ذات الثقة الأعلى.
متى يضر تعزيز التدرج شبه المُشرف عليه بالأداء؟
يضر عندما يكون النموذج الأولي ضعيفًا جدًا لإنتاج توسيمات زائفة موثوقة، أو عندما تختلف توزيعات البيانات المُصنفة وغير المُصنفة، أو عندما تكون المجموعة غير المُصنفة صغيرة مقارنة بالمجموعة المُصنفة. في هذه السيناريوهات، يكون نموذج تعزيز التدرج المُشرف عليه القياسي على البيانات المُصنفة وحدها أكثر أمانًا عادةً.
هل هذا يختلف عن الوضع شبه المُشرف عليه المدمج في CatBoost؟
يطبق CatBoost التدريب شبه المُشرف عليه أصلاً عن طريق التحسين المشترك لخسارة مُشرفة على البيانات المُصنفة وخسارة غير مُشرفة أو توسيم زائف على البيانات غير المُصنفة ضمن دورة تدريب واحدة، والتي يمكن أن تكون أكثر استقرارًا من التوسيم الزائف الخارجي التكراري. حلقات التدريب الذاتي اليدوية أكثر عمومية وتعمل مع أي مكتبة لتعزيز التدرج.
كم عدد تكرارات التوسيم الزائف المطلوبة؟
عادة ما تكون 3 إلى 10 جولات كافية؛ يتم اكتشاف التقارب عندما يتوقف مقياس التحقق من مجموعة البيانات المُصنفة عن التحسن أو ينخفض عدد التوسيمات الزائفة المقبولة حديثًا إلى ما يقرب من الصفر. المزيد من الجولات تخاطر بتجميع أخطاء التوسيم الزائف.
طرق ذات صلة
المصادر
Yarowsky, D. (1995). Unsupervised word sense disambiguation rivaling supervised methods. Proceedings of ACL 1995, 189–196. (Foundational self-training framework underlying pseudo-label approaches.)
افتح مرجع المنشورتم النسخ.Chapelle, O., Scholkopf, B., & Zien, A. (Eds.) (2006). Semi-Supervised Learning. MIT Press.
ردمك: 978-0-262-03358-9تم النسخ.