التعلم النشط باستخدام الجيران الأقرب (K-Nearest Neighbors)
- قدّمه
- Settles, B. (active learning framework); Fix & Hodges (KNN base)
- السنة
- 1951–2010
- النوع
- Active learning with KNN base learner
- العائلة
- Machine learning
هذا النص ترجمة آلية ولم تتم مراجعته بعد. اقرأ النص الأصلي بالإنجليزية
ماذا تفعل؟
يجمع التعلم النشط مع خوارزمية الجيران الأقرب (KNN) بين التنبؤ المستند إلى المثيلات الخاص بـ KNN واستراتيجية استعلام تكرارية تختار الأمثلة غير المسماة الأكثر إفادة للتوصيف. يطلب النموذج تسميات فقط للأمثلة التي تكون فيها هوامش تصويت الجوار ضيقة، مما يحقق دقة تنافسية مع عدد أقل بكثير من الأمثلة المسماة مقارنة بـ KNN الخاضع للإشراف الكامل على البيانات الجدولية.
الفكرة الحدسية وراء الطريقة
تصنف KNN نقطة من خلال النظر إلى أقرب جيرانها المسماة (k) وأخذ تصويت الأغلبية. عندما تكون هذه الجيران مقسمة بالتساوي تقريبًا بين الفئات، يكون النموذج غير متأكد حقًا - وهذا عدم اليقين يحدد أي مثال غير مسمى سيكون الأكثر قيمة للتسمية. يستغل التعلم النشط هذه الإشارة: في كل تكرار، يحدد الخوارزمية النقطة غير المسماة التي يكون جوارها مقسمًا بالتساوي، ويطلب من مصدر موثوق تسميتها، ويضيفها إلى مجموعة البيانات المسماة، ويكرر العملية. والنتيجة هي أن جهد التسمية يتركز بالقرب من حدود القرار، حيث تعلم التسميات الجديدة الأكثر.
التاريخ
يعود مصنف الجيران الأقرب (K-nearest neighbors) إلى Fix و Hodges (1951) وتمت صياغته رسميًا بواسطة Cover و Hart (1967). تم مسح التعلم النشط كإطار عمل منهجي بواسطة Burr Settles (2010)، الذي وثق أخذ العينات بالاستعلام بناءً على عدم اليقين من المجموعة، والاستعلام بواسطة لجنة، والاستراتيجيات الموزونة بالكثافة. ظهرت KNN كمتعلم أساسي في معايير التعلم النشط القائم على المجموعة منذ عمل Cohn و Atlas و Ladner الأساسي (1994) على الأقل، تقديرًا لإشارة عدم اليقين الشفافة وتكلفة إعادة التدريب الصفرية لكل تكرار.
متى تُستخدم
استخدم التعلم النشط مع KNN عندما تكون البيانات المسماة نادرة أو مكلفة للحصول عليها، وتكون المثيلات غير المسماة وفيرة، وتكون مساحة الميزات ذات أبعاد معتدلة، ومن المتوقع أن يكون حد القرار سلسًا محليًا. إنه عملي بشكل خاص في مراحل مبكرة من مشاريع التصنيف حيث يجب تقنين التسميات. تجنبه عندما تكون مجموعة البيانات ذات أبعاد عالية جدًا (مقاييس مسافة KNN تتدهور في الأبعاد العالية، لعنة الأبعاد)، عندما تكون مجموعة البيانات المسماة كبيرة بالفعل (يكفي KNN السلبي)، عندما تكون هناك حاجة إلى تنبؤ بزمن استجابة منخفض على نطاق واسع (تكلفة تنبؤ KNN هي O(n) في مجموعة البيانات المسماة)، أو عندما تكون ميزانية التسمية صغيرة جدًا بحيث تكون تقديرات الجوار غير موثوقة.
الحدود والاعتبارات
- تتناسب تكلفة التنبؤ طرديًا مع حجم مجموعة البيانات المسماة، مما يجعل الاستدلال بطيئًا مع نمو المجموعة من خلال التكرارات.
- يتدهور عدم اليقين المستند إلى المسافة بشكل حاد في المساحات عالية الأبعاد بسبب لعنة الأبعاد.
- سقف دقة KNN أقل من طرق التجميع؛ لا يمكن للاستراتيجية النشطة تعويض القدرة المحدودة للمتعلم الأساسي.
- حساس لاختيار قيمة k ومقياس المسافة؛ الافتراضات السيئة تؤدي إلى تقديرات عدم يقين غير موثوقة.
- يتم تخزين جميع النقاط المسماة في الذاكرة؛ الميزانيات الكبيرة تؤدي إلى استهلاك كبير للذاكرة.
لا تغني شروط المصدر عن المراجعة العلمية المستقلة أو التحقق بواسطة محرك تحليل.
نقاط القوة
- غير بارامتري ولا يتطلب افتراضات: لا توجد افتراضات توزيعية حول البيانات مطلوبة.
- تقدير عدم اليقين طبيعي وقابل للتفسير - فهو يعكس مباشرة انقسام الأصوات بين أقرب الجيران.
- التعلم الكسول يعني عدم وجود تكلفة إعادة تدريب لكل تكرار؛ مجموعة البيانات المسماة الموسعة هي النموذج المحدث.
- فعال في تركيز التسميات بالقرب من حدود القرار، مما يوفر دقة حدود جيدة مع عدد قليل من التعليقات التوضيحية.
- يعمل بشكل جيد على البيانات الجدولية ذات الأبعاد المعتدلة مع ميزات مستمرة وثنائية.
التطبيقات
- توصيف السجلات الطبية أو الصور حيث يكون وقت التسمية الخبير محدودًا وحدود القرار سلسة محليًا.
- تصنيف النصوص أو المستندات باستخدام مجموعات بيانات مسماة صغيرة ووثائق غير مسماة وفيرة باستخدام مسافات قائمة على التضمين.
- مهام اكتشاف أعطال المستشعرات والصناعية حيث يمكن التحقق يدويًا من جزء فقط من الأحداث.
- المسح البيئي حيث يكون التأكيد الميداني لتسميات الأنواع مكلفًا ومتجمعًا محليًا.
- نماذج أولية للمصنفات في مراحلها المبكرة قبل التحول إلى نموذج ذي قدرة أعلى بمجرد جمع تسميات كافية.
كيف يعمل
كيف يعمل
يتم تجميع مجموعة أولية صغيرة من المثيلات المسماة لبدء العملية، جنبًا إلى جنب مع مجموعة أكبر من المثيلات غير المسماة. يوصى بالاختيار العشوائي الطبقي لضمان وجود مثال واحد على الأقل لكل فئة، مما يمنح KNN جوارًا ذا معنى قبل بدء الحلقة النشطة.
يتم ملاءمة مصنف KNN على مجموعة البيانات المسماة الحالية باستخدام قيمة k مختارة ومقياس مسافة (عادةً إقليدي أو جيب التمام). نظرًا لأن KNN كسول ويخزن جميع نقاط التدريب، فإن الملاءمة فورية، لكن تكلفة التنبؤ تتناسب طرديًا مع حجم مجموعة البيانات المسماة - وهو اعتبار مهم مع نمو المجموعة من خلال التكرارات.
يتم تقييم كل مثيل غير مسمى بمعيار الإفادة. يحسب أخذ العينات الهامشي الفرق بين نسب التصويت لأعلى فئتين عبر أقرب k جيران؛ يحسب أخذ العينات الإنتروبي H(y-hat | x) عبر جميع نسب الفئات. يتم الاستعلام عن المثيل ذي الهامش الأصغر أو الإنتروبي الأعلى: x* = argmax H(y-hat | x).
الصيغة
x^* = \arg\max_{x \in U} H(\hat{y} \mid x)يتم إرسال المثيل المطلوب إلى مصدر موثوق - مُعلِّق بشري أو آلية تسمية آلية - للحصول على تسميته الحقيقية. تتم إضافة التسمية إلى مجموعة التدريب ويتم إزالة المثيل من مجموعة البيانات غير المسماة. يجب مراقبة موثوقية المُعلِّق، حيث أن التسميات المشوشة تقلل من أداء KNN بشكل حاد بالقرب من الحدود.
نظرًا لأن KNN متعلم كسول، فلا حاجة لإعادة تدريب صريحة؛ تشكل مجموعة البيانات المسماة الموسعة فورًا النموذج الجديد. تتكرر دورة الاستعلام-التقييم-التسمية حتى يتم استنفاد ميزانية التسمية، أو يتم الوصول إلى عتبة دقة التحقق، أو يتم الوصول إلى الحد الأقصى لعدد التكرارات. يتم الإبلاغ عن الأداء النهائي على مجموعة اختبار مستقلة تم فصلها.
الأخطاء الشائعة
- الفشل في تسوية الميزات قبل حساب المسافات، مما يتسبب في هيمنة الميزات ذات المقدار العالي على الجوار.
- استخدام مجموعة الاختبار لتوجيه أو تقييم اختيار الاستعلام، مما يشكل تسربًا للبيانات.
- تعيين قيمة k صغيرة جدًا (k=1) بالقرب من حد القرار، مما ينتج عنه درجات عدم يقين شديدة التباين لا تعكس الغموض الحقيقي.
- تجاهل اختلال توازن الفئات في مجموعة البداية، مما يحيز الاستعلامات المبكرة نحو حدود الفئة الأغلبية.
- معاملة دقة التعلم النشط على أنها مكافئة لخط أساس خاضع للإشراف بالكامل دون الإبلاغ عن عدد التسميات المستخدمة.
الأسئلة الشائعة
لماذا نستخدم KNN بدلاً من نموذج أقوى كمتعلم أساسي للتعلم النشط؟
عدم اليقين الناتج عن انقسام الأصوات في KNN رخيص الحساب ولا يتطلب إعادة تدريب - إضافة نقطة مسماة جديدة تحدث النموذج فورًا. هذا يجعله جذابًا عندما تكون تكلفة الحساب لكل تكرار مهمة. للحصول على أقصى دقة بميزانية تسمية ثابتة، تتفوق نماذج التجميع الأساسية مثل الغابات العشوائية أو تعزيز التدرج عادةً على KNN.
كيف أختار قيمة k للتعلم النشط؟
نطاق بداية شائع هو k = 5 إلى 15. تنتج قيم k الأصغر تقديرات عدم يقين أكثر تشويشًا؛ قيم k الأكبر تنعم الحد ولكن قد تفوت الغموض الدقيق. قم بالتحقق المتقاطع لقيمة k على مجموعة البداية المسماة الأولية واضبطها مع نمو المجموعة المسماة.
هل قياس الميزات مهم؟
نعم، بشكل حاسم. تهيمن مسافة KNN على الميزات ذات المقدار العالي إذا لم يتم تسوية الميزات. قم دائمًا بتطبيق قياس الحد الأدنى-الأقصى أو توحيد Z-score قبل حساب المسافات ودرجات عدم اليقين.
كم عدد الأمثلة المسماة الأولية المطلوبة؟
كحد أدنى، يلزم وجود مثال أو مثالين مسميين لكل فئة حتى يتمكن KNN من تكوين جوارات لجميع الفئات. في الممارسة العملية، توفر 5-20 مثالًا مسمى تقديرات عدم يقين أولية أكثر استقرارًا؛ عدد أقل يخاطر بتكوين جوارات منحطة تنتج استعلامات مبكرة غير مفيدة.
متى يجب أن أتوقف عن الحلقة النشطة؟
حدد ميزانية تسمية مسبقًا، أو راقب دقة التحقق وتوقف عندما ينخفض التحسن لكل تسمية جديدة عن عتبة ذات مغزى. لا تستخدم أبدًا مجموعة الاختبار كإشارة توقف، لأن هذا يؤدي إلى تسرب المعلومات في عملية الاستعلام.
طرق ذات صلة
المصادر
Settles, B. (2010). Active Learning Literature Survey. Computer Sciences Technical Report 1648, University of Wisconsin-Madison.
افتح مرجع المنشورتم النسخ.Zhu, X., Lafferty, J., & Ghahramani, Z. (2003). Combining active learning and semi-supervised learning using Gaussian fields and harmonic functions. Proceedings of the ICML 2003 Workshop on the Continuum from Labeled to Unlabeled Data, 58–65.
افتح مرجع المنشورتم النسخ.