شجرة قرار التعلم النشط
- قدّمه
- Settles, B. (active learning framework); Breiman et al. (decision tree base)
- السنة
- 1984–2010
- النوع
- Active learning with decision tree base learner
- العائلة
- Machine learning
هذا النص ترجمة آلية ولم تتم مراجعته بعد. اقرأ النص الأصلي بالإنجليزية
ماذا تفعل؟
يجمع التعلم النشط مع شجرة القرار بين البنية القابلة للتفسير لشجرة من نمط CART واستراتيجية استعلام تختار الحالات غير المسماة الأكثر إفادة للتعليق البشري. يطلب النموذج بشكل متكرر تسميات فقط للأمثلة التي يكون أكثر عدم يقين بشأنها، مما يقلل من تكلفة التسمية مع زيادة دقة التصنيف على البيانات الجدولية.
الفكرة الحدسية وراء الطريقة
تسمية كل مثال تدريبي مكلفة. يحل التعلم النشط هذه المشكلة عن طريق السماح للنموذج بالسؤال: 'أي مثال غير مسمى، إذا تم تسميته، سيعلمني أكثر؟' تُستخدم شجرة القرار كمصنف يقدر عدم اليقين في كل خطوة استعلام. بعد إضافة كل تسمية جديدة، يتم إعادة تدريب الشجرة، وتتكرر دورة الاستعلام. النتيجة هي نموذج يحقق دقة تنافسية مع عدد أقل بكثير من الأمثلة المسماة مقارنة بشجرة خاضعة للإشراف بالكامل تم تدريبها من الصفر، مما يجعلها عملية في الإعدادات التي تكون فيها التعليقات مكلفة أو تستغرق وقتًا طويلاً.
التاريخ
تتبع أشجار القرار كمصنفات إلى CART لـ Breiman et al. (1984) و C4.5 لـ Quinlan (1993). تم مسح التعلم النشط كإطار عمل منهجي بشكل شامل بواسطة Burr Settles (2010)، الذي وثق استراتيجيات أخذ عينات عدم اليقين، والاستعلام حسب اللجنة، والتغير المتوقع للنموذج. كانت أشجار القرار متعلمًا أساسيًا قياسيًا في معايير التعلم النشط منذ أواخر التسعينيات، حيث ظهرت في أعمال أخذ العينات المجمعة المبكرة لـ Cohn و Atlas و Ladner (1994) والمقارنات التجريبية اللاحقة عبر أنواع المتعلمين.
متى تُستخدم
استخدم التعلم النشط مع شجرة القرار عندما تكون بيانات التدريب المسماة نادرة أو باهظة الثمن للحصول عليها، ولكن تتوفر مجموعة كبيرة من الحالات غير المسماة - على سبيل المثال في التعليقات الطبية، أو تصنيف المستندات، أو مهام اكتشاف أعطال المستشعرات. قاعدة شجرة القرار مناسبة بشكل خاص عندما يكون تفسير النموذج النهائي مطلوبًا جنبًا إلى جنب مع كفاءة التسمية. تجنب هذا النهج عندما يمكن تسمية مجموعة البيانات بأكملها بتكلفة زهيدة (يكفي التعلم السلبي)، عندما تكون مجموعة البيانات المسماة كبيرة بالفعل (مئات أو آلاف)، عندما تكون مساحة الميزات عالية الأبعاد جدًا (يتفوق المتعلمون النشطون المعززون بالانحدار أو الشبكات العصبية)، أو عندما تكون تكلفة إعادة التدريب لكل تكرار باهظة لمجموعات البيانات الكبيرة جدًا.
الحدود والاعتبارات
- يمكن أن تكون استراتيجية الاستعلام وإعادة تدريب الشجرة معًا مكلفة حسابيًا عندما تكون مجموعة البيانات غير المسماة كبيرة جدًا.
- أشجار القرار هي متعلمون ذوو تباين عالٍ؛ مع عدد قليل من التسميات الأولية، قد تكون الشجرة المبكرة غير موثوقة، مما يؤدي إلى استعلامات مبكرة سيئة.
- سقف الأداء أقل من طرق التجميع مثل الغابات العشوائية أو تعزيز الانحدار بنفس ميزانية التسمية.
- يفترض أن تسميات الكائن الموثوق دقيقة؛ يمكن أن تؤدي التسميات المشوشة أو غير المتسقة إلى تدهور الحلقة النشطة بشكل أسرع من التعلم السلبي.
لا تغني شروط المصدر عن المراجعة العلمية المستقلة أو التحقق بواسطة محرك تحليل.
نقاط القوة
- يقلل بشكل كبير من عدد التسميات المطلوبة للوصول إلى دقة مستهدفة مقارنة بأخذ العينات العشوائي.
- قاعدة النموذج شجرة القرار قابلة للتفسير البشري، مما يجعلها مناسبة للمجالات المنظمة أو التي تتطلب تفسيرًا.
- يعمل بشكل جيد على مجموعات البيانات الجدولية متوسطة الحجم مع أنواع ميزات مختلطة دون الحاجة إلى قياس الميزات.
- استراتيجيات استعلام عدم اليقين سهلة التنفيذ والشرح لأصحاب المصلحة.
- دقة خارج العينة (out-of-bag) أو دقة مجموعة التحقق بعد كل تكرار توفر منحنى تعلم شفاف.
التطبيقات
- التعليقات على الصور الطبية أو السجلات حيث يكون وقت التسمية الخبير محدودًا.
- تصنيف النصوص مع مستندات مسماة نادرة ومجموعة كبيرة من النصوص غير المسماة.
- اكتشاف أعطال المستشعرات والصناعية مع تكاليف تعليق عالية.
- مجموعات البيانات البيئية أو الاستشعار عن بعد حيث يكون التحقق الميداني مكلفًا.
- خطوط أنابيب اكتشاف الاحتيال حيث يمكن مراجعة جزء صغير فقط من المعاملات يدويًا.
كيف يعمل
كيف يعمل
يتم جمع مجموعة صغيرة أولية من الحالات المسماة لبدء العملية، بالإضافة إلى مجموعة أكبر من الحالات غير المسماة. عادةً ما يتم اختيار المجموعة المسماة عشوائيًا أو من خلال أخذ عينات طبقية لضمان وجود مثال واحد على الأقل لكل فئة متوقعة قبل بدء الحلقة النشطة.
يتم تدريب مصنف شجرة القرار (عادةً CART أو C4.5) على المجموعة المسماة الحالية. تتعلم الشجرة قواعد تقسيم تقلل من عدم النقاء (جيني أو إنتروبيا) عند كل عقدة، مما ينتج عنه مصنف يمكنه أيضًا إخراج تقديرات احتمالية الفئة لأي حالة غير مسماة.
تقوم معيار المعلومات - الأكثر شيوعًا هو أخذ عينات عدم اليقين بناءً على إنتروبيا التنبؤ H أو الهامش بين أعلى احتمالات فئتين - بتسجيل كل حالة غير مسماة. يتم اختيار الحالة ذات أعلى درجة عدم يقين كاستعلام: x* = argmax H(y-hat | x).
الصيغة
x^* = \arg\max_{x \in U} H(\hat{y} \mid x)يتم تقديم الحالة المحددة إلى كائن موثوق (معلق بشري أو آلية تسمية آلية) للتعليق. تتم إضافة تسميتها الحقيقية إلى مجموعة التدريب المسماة، وتتقلص مجموعة غير المسماة بواحد. هذه الخطوة هي عنق الزجاجة الحرج في التطبيقات الحقيقية ويجب تدقيقها لضمان موثوقية المعلق.
يتم إعادة تدريب شجرة القرار من الصفر على المجموعة المسماة الموسعة، وتتكرر دورة الاستعلام-الدرجة-التسمية. تشمل معايير التوقف الوصول إلى ميزانية تسمية، أو حد أدنى لدقة التصنيف على مجموعة تحقق منفصلة، أو عدد أقصى من التكرارات. يجب أن يتم التقييم النهائي باستخدام مجموعة اختبار مستقلة تمامًا.
الأخطاء الشائعة
- استخدام مجموعة الاختبار لتوجيه استراتيجية الاستعلام، مما يؤدي إلى تسرب المعلومات وتضخيم مقاييس التقييم.
- الفشل في تعيين بذرة عشوائية ثابتة، مما يجعل ترتيب التسميات والنتائج غير قابلة للتكرار عبر التشغيلات.
- تجاهل عدم توازن الفئات في مجموعة البذور الأولية، مما يتسبب في استعلام الشجرة بشكل أساسي من الفئة الأغلبية.
- إيقاف الحلقة مبكرًا جدًا بناءً على دقة التدريب بدلاً من مجموعة تحقق مستقلة.
- معاملة دقة التعلم النشط النهائية على أنها قابلة للمقارنة مع خط أساس خاضع للإشراف بالكامل دون الإبلاغ عن عدد التسميات المستخدمة.
الأسئلة الشائعة
لماذا تستخدم شجرة قرار بدلاً من نموذج أقوى كمتعلم أساسي؟
أشجار القرار سريعة لإعادة التدريب في كل تكرار وتنتج تقديرات احتمالية مطلوبة لتسجيل عدم اليقين. تفسيرها مهم أيضًا في المجالات التي تتطلب شرحًا للنموذج النهائي. لتحقيق أقصى دقة، قد يُفضل استخدام متعلم نشط يعتمد على الغابات العشوائية أو تعزيز الانحدار مقابل تكلفة التفسير.
كم عدد الأمثلة المسماة الأولية التي أحتاجها للبدء؟
قاعدة عامة شائعة هي مثال واحد أو مثالين على الأقل لكل فئة لضمان قدرة الشجرة على إجراء انقسامات ذات مغزى. في الممارسة العملية، البدء بـ 5-20 حالة مسماة أمر شائع؛ أقل من ذلك يخاطر بشجرة أولية متدهورة جدًا لإنتاج درجات عدم يقين مفيدة.
هل ترتيب الاستعلامات مهم؟
نعم. تسلسل الاستعلام يعتمد على المسار: الاستعلامات المبكرة تشكل ما تتعلمه الشجرة وبالتالي أي الحالات اللاحقة تبدو الأكثر غموضًا. يمكن أن تؤدي البذور العشوائية المختلفة أو المجموعات المسماة الأولية إلى منحنيات تعلم مختلفة بشكل كبير، لذا قم بتكرار التجارب عبر البذور عند مقارنة الاستراتيجيات.
متى يجب أن أتوقف عن الاستعلام؟
حدد ميزانية تسمية مسبقًا، أو راقب دقة التحقق وتوقف عندما ينخفض التحسن لكل تسمية جديدة عن حد معين. لا تستخدم مجموعة الاختبار كمعيار للتوقف أبدًا، لأن هذا يشكل تسربًا للبيانات.
هل يمكنني استخدام هذا النهج مع مشاكل متعددة الفئات؟
نعم. أخذ عينات عدم اليقين المستند إلى الإنتروبيا يعمم بشكل طبيعي على فئات متعددة. في الإعدادات متعددة الفئات غير المتوازنة بشدة، ضع في اعتبارك أشجار القرار الحساسة للتكلفة أو الموزونة بالفئات وتأكد من أن مجموعة البذور الأولية تغطي جميع الفئات.
طرق ذات صلة
المصادر
Settles, B. (2010). Active Learning Literature Survey. Computer Sciences Technical Report 1648, University of Wisconsin-Madison.
افتح مرجع المنشورتم النسخ.Breiman, L., Friedman, J., Olshen, R., & Stone, C. (1984). Classification and Regression Trees. Wadsworth & Brooks.
ردمك: 978-0-412-04841-8تم النسخ.