آلة المتجهات الداعمة للتعلم النشط
- قدّمه
- Tong, S. & Koller, D.
- السنة
- 2001
- النوع
- Active learning + kernel classifier
- العائلة
- Machine learning
هذا النص ترجمة آلية ولم تتم مراجعته بعد. اقرأ النص الأصلي بالإنجليزية
ماذا تفعل؟
تجمع آلة المتجهات الداعمة (SVM) للتعلم النشط بين حدود القرار القوية لآلات المتجهات الداعمة واستراتيجية استعلام ذكية تختار الحالات غير المسماة الأكثر إفادة للتعليق البشري. تم تقديمه بواسطة تونغ وكولر في عام 2001، وهو يحقق دقة تصنيف عالية باستخدام عدد أقل بكثير من الأمثلة المسماة مقارنة بالتعلم المراقب السلبي، مما يجعله عمليًا كلما كان وضع العلامات مكلفًا أو بطيئًا.
الفكرة الحدسية وراء الطريقة
تتطلب آلة المتجهات الداعمة القياسية العديد من الأمثلة المسماة لرسم حدود قرار موثوقة. تقلب آلة المتجهات الداعمة للتعلم النشط سير عمل وضع العلامات: فهي تدرب آلة متجهات داعمة أولية على مجموعة بذرة مسماة صغيرة، ثم تنظر إلى جميع البيانات غير المسماة وتسأل 'أي مثال، إذا تم تسميته، سيؤدي إلى شحذ الحدود بشكل أكبر؟' إنها تختار الحالة الأقرب إلى المستوى الفائق الحالي - حيث يكون النموذج أكثر عدم يقينًا - وتسمي تلك النقطة فقط، وتعيد التدريب، وتكرر. نظرًا لأنه يتم اختيار كل تسمية بشكل استراتيجي، يمكن لعدد صغير بشكل مدهش من التعليقات التوضيحية إنتاج حدود جيدة تقريبًا مثل وضع العلامات الشامل.
التاريخ
تم تقديم الصيغة الأساسية للتعلم النشط لآلات المتجهات الداعمة بواسطة سيمون تونغ وديفني كولر في ICML 2001 ونشرت في مجلة تعلم الآلة (2001). أسست خوارزمية الهامش البسيط الخاصة بهم اختيار الاستعلام المستند إلى الهامش كنهج قياسي. قام بور سيتلز في مسح الأدبيات لعام 2010 بتنظيم مجال التعلم النشط الأوسع وترسيخ AL-SVM كأحد تجسيداته القانونية. لا تزال الطريقة معيارًا في أبحاث التعلم الفعال للتعليق التوضيحي وتستخدم على نطاق واسع في تصنيف النصوص، وتحليل الصور الطبية الحيوية، والاستشعار عن بعد.
متى تُستخدم
استخدم آلة المتجهات الداعمة للتعلم النشط عندما تكون البيانات المسماة نادرة أو مكلفة للحصول عليها - وهو أمر شائع في التصوير الطبي، وتصنيف المستندات، ومهام التعليق العلمي - ويتوفر تجمع كبير من البيانات غير المسماة. يتفوق على وضع العلامات العشوائي عندما تكون تكاليف وضع العلامات مرتفعة وحدود القرار غير تافهة. لا تستخدمه عندما يكون وضع العلامات على جميع البيانات المتاحة ممكنًا بالفعل؛ عندما تكون مساحة الميزات عالية الأبعاد للغاية بدون بنية نواة واضحة؛ أو عندما يكون مجمع البيانات غير المسماة صغيرًا جدًا للاستفادة من الاستعلام الانتقائي. تجنب أيضًا عندما يكون توفر الكائن المرجعي متقطعًا، حيث تتطلب الحلقة التكرارية وصولًا بشريًا متكررًا.
الحدود والاعتبارات
- إعادة تدريب آلة المتجهات الداعمة من البداية في كل تكرار مكلف حسابيًا للمجمعات المسماة الكبيرة؛ تحديثات آلة المتجهات الداعمة التدريجية تخفف ولكن لا تقضي على التكلفة.
- يمكن لأخذ عينات الهامش اختيار حالات مكررة أو متطرفة إذا كان مجمع البيانات غير المسماة يحتوي على ضوضاء أو نسخ مكررة بالقرب من الحدود.
- يعتمد الأداء بشكل كبير على اختيار النواة والمعلمات الفائقة، والتي يصعب ضبطها بشكل موثوق مع عدد قليل من الأمثلة المسماة.
- يفترض أن الكائن المرجعي متاح دائمًا وغير قابل للخطأ؛ التسميات الصاخبة أو غير المتسقة من المعلقين البشريين الحقيقيين تقلل من التقارب.
لا تغني شروط المصدر عن المراجعة العلمية المستقلة أو التحقق بواسطة محرك تحليل.
نقاط القوة
- يحقق دقة تصنيف عالية مع عدد أقل بكثير من الأمثلة المسماة مقارنة بالتعلم المراقب السلبي.
- متجذر بإحكام في نظرية آلة المتجهات الداعمة: اختيار الاستعلام المستند إلى الهامش له تبرير هندسي واحتمالي واضح.
- يسمح اختيار النواة المرن (خطي، RBF، متعدد الحدود) بالتكيف مع مساحات الميزات النصية والصورية والجدولية.
- صيغة المجمعات عملية: المجموعة غير المسماة بأكملها متاحة مقدمًا، وهو أمر شائع في التطبيقات الحقيقية.
- يمنح إعادة التدريب التكراري منحنى مراقبة طبيعيًا للأداء مقابل ميزانية التعليق التوضيحي.
التطبيقات
- تصنيف النصوص والمستندات مع تعليقات الخبراء المكلفة (مثل السجلات القانونية والطبية).
- وضع علامات على الصور الطبية الحيوية حيث يكون وقت أخصائي الأشعة أو أخصائي علم الأمراض قيدًا ملزمًا.
- تصنيف صور الاستشعار عن بعد والأقمار الصناعية مع أرشيفات كبيرة غير مسماة.
- اكتشاف البريد العشوائي والتسلل حيث يتطلب وضع العلامات مراجعة خبير أمني.
- التعليق على البيانات العلمية في علم الجينوم أو علم المواد بتكلفة وضع علامات عالية لكل حالة.
كيف يعمل
كيف يعمل
يتم تدريب آلة المتجهات الداعمة على مجموعة أولية صغيرة من الأمثلة المسماة، مما يؤسس مستوى فائقًا مبكرًا للقرار. جودة مجموعة البذرة هذه مهمة: توازن الفئات والتنوع التمثيلي كلاهما مهم، حتى مع عدد قليل من الأمثلة.
يقوم الخوارزمية بتقييم كل حالة غير مسماة حسب بعدها عن مستوى آلة المتجهات الداعمة الفائق الحالي. يتم اختيار الحالة ذات أصغر قيمة هامش مطلقة - أي الأقرب إلى الحدود، حيث يكون النموذج أقل ثقة - كاستعلام تالي. تُعرف هذه الاستراتيجية باسم أخذ عينات الهامش أو الهامش البسيط.
الصيغة
x^* = \arg\min_{x \in U} |\mathbf{w} \cdot \phi(x) + b|يتم تقديم الحالة المحددة إلى معلق بشري (الكائن المرجعي) الذي يعين فئة الحقيقة. في التعلم النشط المستند إلى المجمعات، يكون هذا حالة واحدة لكل تكرار؛ تختار متغيرات وضع الدُفعات مجموعة صغيرة متنوعة لتقليل جولات تفاعل الكائن المرجعي.
تتم إضافة الحالة المسماة حديثًا إلى المجموعة المسماة ويتم إعادة تدريب آلة المتجهات الداعمة من البداية (أو تحديثها تدريجيًا) على المجموعة الموسعة. يتم تثبيت اختيار النواة (خطي، RBF، متعدد الحدود) ومعامل التنظيم C أو التحقق المتقاطع على مجمع التسميات.
تستمر الحلقة حتى يتم استنفاد ميزانية محددة مسبقًا (عدد التعليقات التوضيحية، الحد الزمني، أو دقة مستهدفة على مجموعة تحقق منفصلة)، أو حتى يعبر هامش الحالات المستعلم عنها عتبة ثقة تشير إلى يقين كافٍ للنموذج.
الأخطاء الشائعة
- البدء بمجموعة بذرة غير متوازنة للفئات، مما يحيز المستوى الفائق الأولي ويشوه جميع الاستعلامات اللاحقة نحو منطقة واحدة.
- تجاهل قياس الميزات: هوامش آلة المتجهات الداعمة تستند إلى المسافة، لذا فإن الميزات غير المقيّسة تجعل النموذج يتجاهل الأبعاد ذات التباين المنخفض تمامًا.
- معاملة دقة مجمع البيانات المسماة كتقدير أداء موثوق به بدون مجموعة اختبار منفصلة.
- اختيار دفعة كبيرة جدًا لكل جولة، مما يعيد إدخال عدم كفاءة التعلم السلبي ويقلل من فائدة الاختيار النشط.
- استخدام نواة خطية على بيانات غير خطية بطبيعتها، ثم عزو النتائج السيئة إلى التعلم النشط بدلاً من سوء تحديد النموذج.
الأسئلة الشائعة
كيف تختلف آلة المتجهات الداعمة للتعلم النشط عن آلة المتجهات الداعمة القياسية؟
تستخدم آلة المتجهات الداعمة القياسية بشكل سلبي أي بيانات مسماة يتم توفيرها. تختار آلة المتجهات الداعمة للتعلم النشط بنشاط الحالات غير المسماة التي تطلب تسميات لها، وتختار تلك الأقرب إلى حدود القرار الحالية. نموذج التصنيف هو نفس آلة المتجهات الداعمة؛ فقط استراتيجية جمع البيانات تتغير.
ما هي استراتيجية الاستعلام التي يجب أن أستخدمها؟
الهامش البسيط (اختيار الحالة غير المسماة الأقرب إلى المستوى الفائق) هو الاستراتيجية القانونية والأكثر دراسة. تُفضل متغيرات وضع الدُفعات التي تزيد من التنوع داخل مجموعة مختارة عندما تكون جولات تفاعل الكائن المرجعي مكلفة، على حساب تنفيذ أكثر تعقيدًا قليلاً.
متى يجب أن أتوقف عن الاستعلام؟
تشمل معايير الإيقاف الشائعة استنفاد ميزانية تعليق توضيحي ثابتة، أو الوصول إلى دقة مستهدفة على مجموعة تحقق، أو ملاحظة أن الحالات المستعلم عنها بشكل متتابع تقع جميعها بعيدًا عن الحدود (مما يشير إلى استقرار ثقة النموذج). تجنب الاعتماد فقط على أداء مجموعة التدريب، وهو متفائل بشكل مفرط.
هل يمكن لآلة المتجهات الداعمة للتعلم النشط التعامل مع مشاكل متعددة الفئات؟
نعم، عبر تفكيكات واحد ضد الباقي أو واحد ضد واحد. يُعرّف الهامش لاختيار الاستعلام متعدد الفئات عادةً على أنه الفرق بين أعلى درجتين للفئة؛ يتم اختيار الحالات ذات أصغر فجوة. تستخدم بعض التطبيقات معايير تعلم نشط مخصصة متعددة الفئات.
هل التعلم العميق يجعل آلة المتجهات الداعمة للتعلم النشط قديمة؟
ليس تمامًا. تظل آلة المتجهات الداعمة للتعلم النشط تنافسية عندما تكون البيانات المسماة نادرة جدًا (عشرات إلى مئات قليلة من الأمثلة)، وموارد حساب التدريب محدودة، أو يُقدر تفسير الهامش. تصبح طرق التعلم العميق النشط مفضلة فقط عندما تتوفر موارد وحدة معالجة الرسومات (GPU) ويكون مجمع البيانات غير المسماة كبيرًا جدًا.
طرق ذات صلة
المصادر
Tong, S., & Koller, D. (2001). Support Vector Machine Active Learning with Applications to Text Classification. Journal of Machine Learning Research, 2, 45–66.
افتح مرجع المنشورتم النسخ.Settles, B. (2010). Active Learning Literature Survey. Computer Sciences Technical Report 1648, University of Wisconsin–Madison.
افتح مرجع المنشورتم النسخ.