الغابات العشوائية شبه المُشرف عليها
- قدّمه
- Leistner, C., Saffari, A., Santner, J., & Bischof, H.
- السنة
- 2009
- النوع
- Semi-supervised ensemble classifier
- العائلة
- Machine learning
هذا النص ترجمة آلية ولم تتم مراجعته بعد. اقرأ النص الأصلي بالإنجليزية
ماذا تفعل؟
تُوسع الغابات العشوائية شبه المُشرف عليها (SSL-RF) الغابات العشوائية الكلاسيكية من خلال استغلال أمثلة التدريب المُصنفة وغير المُصنفة على حد سواء. عندما يكون تصنيف البيانات مُكلفًا أو مستهلكًا للوقت، تُعيّن SSL-RF تسميات زائفة مؤقتة للملاحظات غير المُصنفة من خلال الغابة نفسها، ثم تُعيد التدريب على مجموعة البيانات المُثرية، مما يُحسن الدقة تدريجيًا دون الحاجة إلى تعليقات توضيحية إضافية من الإنسان.
الفكرة الحدسية وراء الطريقة
تخيل أن تطلب من لجنة من الخبراء (أشجارك) تصنيف الحالات، ولكن معظم ملفات الحالات ليس لديها تشخيص مؤكد. تسمح SSL-RF للجنة بالتصويت على الملفات غير المؤكدة، وتعتبر الأصوات الواثقة تشخيصات مؤقتة، وتضيف تلك الملفات إلى مجموعة التدريب، وتعيد التدريب - وتكرر ذلك حتى تتقارب اللجنة. توجه الأمثلة المُصنفة الغابة، بينما تُشكل الأغلبية غير المُصنفة حدود القرار في المناطق التي لا يمكن للبيانات المُصنفة وحدها الوصول إليها، مما يؤدي إلى تعميم أفضل عندما تكون التصنيفات نادرة.
التاريخ
تم مسح التعلم شبه المُشرف عليه بشكل منهجي بواسطة شياوجين تشو (2005)، مما أسس الدافع النظري لاستغلال البيانات غير المُصنفة. تم تقديم الصيغة النموذجية لـ SSL-RF بواسطة Leistner وآخرون في ICCV 2009، حيث جمعت بين التقسيم القائم على الإنتروبيا وتنظيم المشعب داخل إطار الغابات العشوائية. اكتسبت الطريقة زخمًا في رؤية الكمبيوتر والتصوير الطبي حيث تكون تكاليف التعليق التوضيحي عالية، ومنذ ذلك الحين تم توسيعها مع تكامل الميزات العميقة ومتغيرات انتشار التسميات القائمة على الرسوم البيانية.
متى تُستخدم
استخدم الغابات العشوائية شبه المُشرف عليها عندما يكون لديك بيانات غير مُصنفة وفيرة ولكن التصنيف مُكلف أو نادر أو مستهلك للوقت - وهو أمر شائع في التصوير الطبي والاستشعار عن بعد وتصنيف النصوص والبيانات البيولوجية. إنها مناسبة لمجموعات البيانات الجدولية، والمشتقة من الصور، والمختلطة النوع مع مجموعة فرعية مُصنفة معتدلة على الأقل (حوالي 5-20٪ من إجمالي البيانات). تجنبها عندما لا توجد تسميات موثوقة تقريبًا (ستكون الغابة الأولية ضعيفة جدًا لإنتاج تسميات زائفة مفيدة)، وعندما تكون حدود الفئات غير سلسة للغاية، أو عندما يحقق نموذج مُشرف عليه بالكامل أداءً مُرضيًا على مجموعتك المُصنفة وحدها.
الحدود والاعتبارات
- تعتمد جودة التسميات الزائفة على الغابة المُشرف عليها الأولية؛ النموذج الأولي الضعيف ينشر الأخطاء عبر جميع التكرارات اللاحقة.
- اختيار عتبة الثقة ليس أمرًا بسيطًا ويمكن أن يؤثر بشكل كبير على الأداء النهائي.
- تتزايد التكلفة الحسابية مع عدد العينات غير المُصنفة والتكرارات، خاصة بالنسبة للغابات الكبيرة.
- إذا كان توزيع البيانات غير المُصنفة يختلف عن توزيع البيانات المُصنفة (انحراف المتغير المشترك)، فقد تكون التسميات الزائفة متحيزة بشكل منهجي.
- التقارب غير مضمون؛ يمكن للتدريب الذاتي التكراري تضخيم الأخطاء المبكرة دون معايير إيقاف دقيقة.
لا تغني شروط المصدر عن المراجعة العلمية المستقلة أو التحقق بواسطة محرك تحليل.
نقاط القوة
- تستفيد من البيانات غير المُصنفة الرخيصة لتحسين الدقة بما يتجاوز ما يمكن أن تحققه البيانات المُصنفة وحدها.
- ترث جميع مزايا الغابات العشوائية: المتانة، وأهمية الميزات المضمنة، والمقاومة للإفراط في التخصيص عبر التعبئة.
- تسمح عتبة الثقة المرنة بالتحكم في مدى دمج البيانات غير المُصنفة بقوة.
- تتعامل بشكل طبيعي مع أنواع الميزات المختلطة والعلاقات غير الخطية والمدخلات عالية الأبعاد دون افتراضات توزيعية.
- توفر تقديرات خارج العينة (out-of-bag) من الجزء المُصنف إشارة تحقق حتى مع مجموعات مُصنفة صغيرة.
- قابلة للتطبيق على مهام التصنيف والانحدار مع تغييرات خوارزمية طفيفة.
التطبيقات
- تصنيف الصور الطبية حيث يكون التعليق التوضيحي الخبير مُكلفًا، مثل علم الأمراض النسيجية والأشعة.
- تحليل الاستشعار عن بعد والصور الفضائية مع تسميات حقيقية محدودة.
- تصنيف النصوص والمستندات عندما يمكن تصنيف مجموعة فرعية فقط من المستندات يدويًا.
- تحليل البيانات البيولوجية والجينية حيث يكون التحقق المخبري كثيف الموارد.
- مراقبة الجودة الصناعية مع تسميات أعطال متفرقة ولكن قراءات مستشعرات غير مُصنفة وفيرة.
- اكتشاف الاحتيال حيث تكون حالات الاحتيال المؤكدة نادرة مقارنة بالمعاملات غير المُصنفة.
كيف يعمل
كيف يعمل
تبدأ العملية بمجموعة صغيرة مُصنفة ومجموعة كبيرة غير مُصنفة. تُنشئ الملاحظات المُصنفة مساحة الميزات الأولية وتوزيع الفئات، مما يضمن وجود إشارة موثوقة واحدة على الأقل قبل محاولة أي خطوة تصنيف زائف.
يتم تدريب غابة عشوائية قياسية على البيانات المُصنفة فقط. يتم تطبيق أخذ العينات المعززة واختيار الميزات العشوائية تمامًا كما في الحالة المُشرف عليها، مما ينتج عنه مجموعة تتنبأ تنبؤاتها فقط بالتسميات الحقيقية المتاحة في هذه المرحلة.
تتنبأ الغابة المُدربة باحتمالات الفئات لكل ملاحظة غير مُصنفة. العينات التي تتجاوز احتمالية التنبؤ بها عتبة الثقة - والتي غالبًا ما يتم ضبطها عن طريق التحقق المتقاطع - تتلقى تسمية زائفة. قد تُترك العينات ذات الثقة المنخفضة بدون تسمية أو تُخفض وزنها لتجنب انتشار الأخطاء.
تُعاد تدريب الغابة على المجموعة المجمعة من الأمثلة المُصنفة الأصلية والأمثلة المُصنفة زائفًا حديثًا. يمكن لوزن العينات الاختياري أن يُقلل من قيمة الأمثلة المُصنفة زائفًا مقارنة بالتسميات الحقيقية. قد تُطبق أيضًا تنظيم المشعب أو معايير التقسيم القائمة على الإنتروبيا في هذه المرحلة.
تُكرر خطوات التصنيف الزائف وإعادة التدريب لعدد ثابت من التكرارات أو حتى تستقر تعيينات التسميات الزائفة عبر الجولات المتتالية. يمنع الإيقاف المبكر الثقة المفرطة من تراكم الأخطاء، خاصة في الإعدادات ذات الضوضاء العالية أو التداخل العالي.
يتم الحصول على التنبؤات النهائية عن طريق تجميع الأصوات عبر جميع الأشجار في الغابة المُدربة الأخيرة: التصويت بالأغلبية للتصنيف أو متوسط الاستجابة للانحدار. يمكن أيضًا أن تكون درجات الثقة من الغابة بمثابة تقديرات عدم يقين مُعايرة لاتخاذ القرارات اللاحقة.
الصيغة
\hat{y} = \text{mode/mean of } T \text{ trees over labeled + pseudo-labeled data}الأخطاء الشائعة
- ضبط عتبة الثقة منخفضة جدًا وإغراق مجموعة التدريب بتسميات زائفة مشوشة.
- تجاهل انحراف المتغير المشترك بين مجموعات البيانات المُصنفة وغير المُصنفة، مما قد يؤدي إلى تدهور الدقة بدلاً من تحسينها.
- التقييم فقط على تقديرات خارج العينة دون مجموعة اختبار مُصنفة مُحتفظ بها حقًا.
- تشغيل عدد كبير جدًا من تكرارات التدريب الذاتي دون إيقاف مبكر، مما يتسبب في تراكم الأخطاء عبر الجولات.
- معاملة الملاحظات المُصنفة زائفًا بنفس موثوقية التسميات الحقيقية دون تطبيق أي وزن للعينة.
الأسئلة الشائعة
ما مقدار البيانات المُصنفة التي أحتاجها للبدء؟
لا يوجد حد أدنى صارم، ولكن يجب أن تكون الغابة المُشرف عليها الأولية قوية بما يكفي لإنتاج تسميات زائفة مفيدة. في الممارسة العملية، تميل 5-10٪ على الأقل من إجمالي العينات المصنفة - أو بضع مئات من الملاحظات المصنفة - إلى إعطاء تنبؤات أولية موثوقة. مع عدد قليل جدًا من التصنيفات، فكر في التعاون أو الطرق القائمة على الرسوم البيانية بدلاً من ذلك.
كيف أختار عتبة الثقة للتصنيف الزائف؟
قم بالتحقق المتقاطع على المجموعة المُصنفة عبر شبكة من قيم العتبة (على سبيل المثال، 0.60 إلى 0.95) واختر القيمة التي تزيد الأداء المُحتفظ به. تقلل العتبة الأعلى من الضوضاء ولكن أيضًا حجم البيانات غير المُصنفة المستخدمة؛ البدء بشكل متحفظ حول 0.80 هو ممارسة شائعة.
هل يمكن لـ SSL-RF التعامل مع اختلال توازن الفئات؟
نعم، ولكن اختلال توازن الفئات في المجموعة المُصنفة ينتشر إلى التسميات الزائفة. استخدم معايير تقسيم مُرجحة بالفئات أو قم بزيادة عينة الفئة الأقلية في المجموعة المُصنفة قبل خطوة التدريب الأولى. راقب الدقة والاستدعاء لكل فئة بدلاً من الدقة الإجمالية.
هل SSL-RF هو نفسه التدريب الذاتي مع مُتعلم أساسي عشوائي؟
التدريب الذاتي هو المخطط الخوارزمي الأوسع؛ SSL-RF هو أحد تجسيداته. قد تتضمن تطبيقات SSL-RF أيضًا معايير تقسيم مُنظمة بالمشعب أو بنية قائمة على الرسوم البيانية، متجاوزة التدريب الذاتي الساذج التكراري.
متى يجب أن أفضل تعزيز التدرج على SSL-RF؟
إذا كانت جميع بياناتك مُصنفة، فإن تعزيز التدرج يحقق عادةً دقة أعلى ويجب تفضيله. استخدم SSL-RF تحديدًا عندما تكون نسبة البيانات المُصنفة صغيرة وتتوفر مجموعة كبيرة من البيانات غير المُصنفة للاستغلال.
طرق ذات صلة
المصادر
Leistner, C., Saffari, A., Santner, J., & Bischof, H. (2009). Semi-supervised random forests. In Proceedings of the IEEE 12th International Conference on Computer Vision (ICCV), pp. 506–513. IEEE.
افتح مرجع DOIتم النسخ.Zhu, X. (2005). Semi-supervised learning literature survey. Computer Sciences Technical Report 1530, University of Wisconsin-Madison.
افتح مرجع المنشورتم النسخ.