شجرة القرار شبه مُشرف عليها
- قدّمه
- Various (Levin & Shapiro; Zhu & Goldberg lineage)
- السنة
- 2000s
- النوع
- Semi-supervised classifier / regressor
- العائلة
- Machine learning
هذا النص ترجمة آلية ولم تتم مراجعته بعد. اقرأ النص الأصلي بالإنجليزية
ماذا تفعل؟
تُوسِّع شجرة القرار شبه المُشرف عليها (Semi-supervised Decision Tree) استقراء شجرة القرار القياسية — مثل CART أو C4.5 — لاستغلال الملاحظات غير المُصنَّفة (unlabeled observations) إلى جانب مجموعة التدريب المُصنَّفة (labeled training set). من خلال التعيين التكراري لتصنيفات مؤقتة للبيانات غير المُصنَّفة ودمجها في عملية النمو أو التقسيم، يمكن للخوارزمية تحقيق دقة أفضل من شجرة مُشرف عليها بالكامل (fully supervised tree) تم تدريبها على المجموعة الفرعية المُصنَّفة وحدها، وهو أمر قيِّم بشكل خاص عندما يكون التصنيف مُكلفًا أو مستهلكًا للوقت.
الفكرة الحدسية وراء الطريقة
إن تصنيف كل ملاحظة مُكلف، ومع ذلك فإن البيانات غير المُصنَّفة لا تزال تحتوي على معلومات هيكلية مفيدة حول مساحة الميزات (feature space). تستغل شجرة القرار شبه المُشرف عليها ذلك من خلال بناء شجرة أولاً من الأمثلة المُصنَّفة القليلة، واستخدام تلك الشجرة لتصنيف البيانات غير المُصنَّفة بشكل مؤقت، ثم إعادة التدريب على المجموعة الموسَّعة. تعمل التكرارات المتكررة على تحسين كل من التصنيفات المؤقتة وهيكل الشجرة بشكل متزامن، بحيث يتعلم النموذج من توزيع البيانات العام حتى عندما تكون تصنيفات الحقيقة الأرضية (ground-truth labels) نادرة.
التاريخ
ظهر التعلم شبه المُشرف في أواخر التسعينيات حيث سعى الباحثون إلى استغلال وفرة البيانات غير المُصنَّفة المتاحة في مجالات مثل تصنيف الويب وعلم الأحياء الحاسوبي. كانت متغيرات التدريب الذاتي لأشجار القرار، حيث تقوم الشجرة بتصنيف بياناتها غير المُصنَّفة بشكل متكرر، من بين أقدم التطبيقات. ظهر العلاج الرسمي في المسح الذي أجراه Zhu & Goldberg (2009)، والذي يضع التدريب الذاتي القائم على الشجرة ضمن التصنيف الأوسع للتعلم شبه المُشرف. منذ ذلك الحين، امتدت الأساليب إلى إعدادات المجموعات (ensemble settings)، مما أنتج غابات عشوائية شبه مُشرف عليها وأشجار معززة بالتدرج (gradient-boosted trees).
متى تُستخدم
تُعد أشجار القرار شبه المُشرف عليها مناسبة عندما تكون البيانات المُصنَّفة نادرة ومكلفة للحصول عليها، ولكن تتوفر مجموعة كبيرة من الملاحظات غير المُصنَّفة — وهو أمر شائع في تصنيف الصور الطبية، وتصنيف النصوص، ومراقبة المستشعرات. وهي مفيدة بشكل خاص عندما يتم التقاط توزيع الميزات العام بشكل جيد بواسطة المجموعة غير المُصنَّفة وعندما يكون النموذج القابل للتفسير البشري (شجرة) مطلوبًا. تجنب هذه الطريقة عندما تكون العينة المُصنَّفة صغيرة جدًا بحيث تكون الشجرة الأولية غير موثوقة للغاية، أو عندما لا تكون البيانات غير المُصنَّفة ممثلة لتوزيع الاختبار، أو عندما يُتوقع أن تنشر عملية التصنيف الزائف أخطاءً منهجية (تحيز التأكيد - confirmation bias). في هذه الحالات، قد تكون الطرق المُشرف عليها بالكامل على بيانات مُصنَّفة نظيفة، أو طرق شبه مُشرف عليها بديلة مثل نشر التصنيف (label propagation) أو التدريب المشترك (co-training)، أكثر أمانًا.
الحدود والاعتبارات
- يمكن أن تتضخم أخطاء التصنيف الزائف من شجرة أولية غير موثوقة عبر التكرارات، مما يؤدي إلى تدهور الأداء مقارنة بخط الأساس المُشرف عليه بالكامل.
- تفترض الطريقة أن البيانات غير المُصنَّفة تشترك في نفس التوزيع الأساسي مثل البيانات المُصنَّفة؛ يؤدي تحول التوزيع إلى كسر هذا الافتراض.
- تزداد التكلفة الحسابية مع كل تكرار حيث تتم إعادة تدريب الأشجار على مجموعات بيانات فعالة متزايدة الحجم.
- يتطلب تحديد عتبة الثقة لتضمين التصنيف الزائف ضبطًا دقيقًا والتحقق المتقاطع (cross-validation).
لا تغني شروط المصدر عن المراجعة العلمية المستقلة أو التحقق بواسطة محرك تحليل.
نقاط القوة
- تستفيد من البيانات غير المُصنَّفة لتحسين الدقة عندما تكون الأمثلة المُصنَّفة قليلة، مما يقلل من تكلفة التصنيف.
- تحتفظ بقابلية تفسير أشجار القرار: النموذج الناتج هو مجموعة قابلة للقراءة البشرية من قواعد إذا-ثم.
- تتعامل بشكل طبيعي مع أنواع الميزات المختلطة — المستمرة، الفئوية، الثنائية — دون الحاجة إلى تسوية المعالجة المسبقة.
- التدريب الذاتي التكراري سهل التنفيذ فوق أي متعلم شجرة موجود.
- يمكنها التقاط الحدود غير الخطية وتفاعلات الميزات التي تفوتها النماذج شبه المُشرف عليها الخطية.
التطبيقات
- تصنيف الصور الطبية والسجلات حيث يكون تصنيف الخبراء مُكلفًا وتوجد أرشيفات كبيرة غير مُصنَّفة.
- تصنيف النصوص والمستندات باستخدام مجموعات بيانات مُصنَّفة صغيرة ومجموعات غير مُصنَّفة كبيرة.
- تحليل بيانات المستشعرات وإنترنت الأشياء حيث يتم تصنيف أجزاء السلاسل الزمنية يدويًا بشكل جزئي فقط.
- مهام المعلوماتية الحيوية مثل التنبؤ بوظيفة الجينات مع قليل من التصنيفات التي تم التحقق منها تجريبيًا.
- اكتشاف الاحتيال عندما تكون حالات الاحتيال المُصنَّفة نادرة مقارنة بحجم المعاملات غير المُصنَّفة.
كيف يعمل
كيف يعمل
يتم ملاءمة شجرة قرار قياسية (مثل CART أو C4.5) باستخدام الجزء المُصنَّف فقط من مجموعة البيانات. يوفر هذا النموذج الأولي تقريبًا أوليًا لحدود القرار ويعمل كبذرة للتكرارات شبه المُشرف عليها اللاحقة.
يتم تمرير كل ملاحظة غير مُصنَّفة عبر الشجرة الحالية، ويتم تعيين الفئة المتوقعة (للتصنيف) أو القيمة المتوقعة (للانحدار) كتصنيف مؤقت. يمكن استخدام تقديرات الثقة أو الاحتمالية من العقد الطرفية (leaf nodes) لتحديد التصنيفات الزائفة (pseudo-labels) الأكثر موثوقية فقط، مما يؤدي إلى تصفية التعيينات ذات الثقة المنخفضة.
تتم إعادة تدريب الشجرة من البداية باستخدام كل من الأمثلة المُصنَّفة الأصلية والملاحظات غير المُصنَّفة المُصنَّفة زائفًا حديثًا. تساهم التصنيفات الزائفة ذات الثقة العالية في قرارات التقسيم جنبًا إلى جنب مع التصنيفات الحقيقية، مما يؤدي إلى توسيع مجموعة التدريب الفعالة بشكل فعال.
تُوجِّه معايير التقسيم المُعدَّلة — مثل الإنتروبيا (entropy) أو جيني (Gini) المحسوبة على كل من الملاحظات المُصنَّفة وغير المُصنَّفة، أو أهداف المعيار المزدوج (bi-criterion objectives) التي توازن بين النقاء المُشرف عليه وتماسك التجمعات غير المُشرف عليها — تقسيمات العقد لاحترام توزيع البيانات الأساسي الذي تكشفه النقاط غير المُصنَّفة.
تستمر العملية التكرارية حتى تستقر التصنيفات المؤقتة عبر الجولات المتتالية أو يتم الوصول إلى حد أقصى للتكرارات. ثم يتم تطبيق استراتيجيات التقليم اللاحق القياسية (تقليم التعقيد بالتكلفة، الحد الأدنى لحجم العقدة الطرفية) على الشجرة النهائية للتحكم في فرط التخصيص (overfitting) على البيانات المُصنَّفة زائفًا.
الأخطاء الشائعة
- استخدام جميع التصنيفات الزائفة بغض النظر عن الثقة، مما يسمح للتعيينات ذات الجودة المنخفضة بالهيمنة على التكرارات اللاحقة.
- الفشل في التحقق من أن البيانات غير المُصنَّفة مأخوذة من نفس توزيع مجموعة البيانات المُصنَّفة قبل التدريب.
- معاملة إحصائيات العقد الطرفية للشجرة النهائية على أنها مُشرف عليها بالكامل عند الإبلاغ عن مقاييس الأداء — يلزم تقييم خارج العينة (out-of-bag) أو تقييم مُصنَّف مُحتفظ به.
- تخطي التقليم بعد زيادة التصنيف الزائف، مما يتسبب في فرط تخصيص شديد للتصنيفات المؤقتة المشوشة.
- المقارنة المباشرة مع شجرة مُشرف عليها بالكامل تم تدريبها على نفس المجموعة الفرعية المُصنَّفة دون حساب البيانات غير المُصنَّفة الإضافية المستخدمة.
الأسئلة الشائعة
كيف تختلف شجرة القرار شبه المُشرف عليها عن مصنف التدريب الذاتي العادي؟
المبدأ الأساسي — استخدام التنبؤات على البيانات غير المُصنَّفة لزيادة التدريب — هو نفسه. ما يميز الأساليب الخاصة بالأشجار هو خيار تعديل معيار التقسيم نفسه لدمج معلومات توزيع البيانات غير المُصنَّفة، بدلاً من مجرد توسيع مجموعة البيانات المُصنَّفة بشكل متكرر.
كم عدد الأمثلة المُصنَّفة التي أحتاجها للبدء؟
لا يوجد حد أدنى عالمي، ولكن يجب أن تكون الشجرة المُشرف عليها الأولية موثوقة بما يكفي لإنتاج تصنيفات زائفة مفيدة. في الممارسة العملية، غالبًا ما يُوصى بما لا يقل عن 20-50 مثالًا مُصنَّفًا لكل فئة؛ مع عدد أقل، يكون خطر انتشار الخطأ مرتفعًا وقد تعمل طرق بديلة مثل نشر التصنيف بشكل أفضل.
هل يجب أن أستخدم جميع البيانات غير المُصنَّفة أم أختار مجموعة فرعية؟
يؤدي اختيار التصنيفات الزائفة ذات الثقة العالية فقط — على سبيل المثال تلك التي تتجاوز فيها احتمالية العقدة الطرفية عتبة مثل 0.85 — عمومًا إلى أداء أفضل من استخدام جميع النقاط غير المُصنَّفة، خاصة عندما تكون الشجرة الأولية غير مثالية.
هل يحل هذا محل التحقق المتقاطع القياسي؟
لا. نظرًا لأن التصنيفات الزائفة مشتقة من النموذج نفسه، فإن المقاييس داخل العينة (in-sample metrics) متفائلة. يجب أن يستخدم التقييم مجموعة اختبار مُصنَّفة مُحتفظ بها أو تحققًا متقاطعًا من k-fold مطبقًا بدقة على الجزء المُصنَّف.
هل يمكنني دمج هذا مع طرق المجموعات؟
نعم. توسع الغابات العشوائية شبه المُشرف عليها ونهج الغابات المشتركة (co-forest approaches) الفكرة إلى المجموعات، والتي يمكن أن تقلل من تباين أخطاء التصنيف الزائف وعادة ما تتفوق على شجرة شبه مُشرف عليها واحدة.
طرق ذات صلة
المصادر
Levin, E. & Shapiro, E. (2000). Learning Decision Trees from Semi-labeled Examples. Proceedings of the ICML Workshop on Attribute-Value and Relational Learning.
افتح مرجع المنشورتم النسخ.Zhu, X. & Goldberg, A. B. (2009). Introduction to Semi-Supervised Learning. Morgan & Claypool Publishers.
ردمك: 978-1-598-29548-9تم النسخ.