الانحدار الخطي بالتعلم النشط
- قدّمه
- Cohn, D. A.; Ghahramani, Z.; Jordan, M. I.
- السنة
- 1996
- النوع
- Active learning / iterative supervised learning
- العائلة
- Machine learning
هذا النص ترجمة آلية ولم تتم مراجعته بعد. اقرأ النص الأصلي بالإنجليزية
ماذا تفعل؟
الانحدار الخطي بالتعلم النشط هو نهج تكراري في تعلم الآلة يجمع بين نموذج انحدار خطي واستراتيجية استعلام ذكية لاختيار النقاط غير المسماة الأكثر إفادة للتسمية. من خلال تركيز جهد التسمية حيث يكون عدم اليقين أعلى، فإنه يحقق دقة تنبؤية تنافسية مع عدد أقل بكثير من الأمثلة المسماة مقارنة بأخذ العينات العشوائية السلبية.
الفكرة الحدسية وراء الطريقة
غالباً ما يكون تسمية البيانات مكلفة - فكر في القياسات السريرية، أو التعليقات التوضيحية للخبراء، أو التجارب المعملية. بدلاً من تسمية كل شيء بشكل عشوائي، يقوم المتعلم النشط بتطبيق انحدار خطي على المجموعة الصغيرة المسماة التي يمتلكها، ويحدد أين تكون تنبؤاته الأكثر غموضاً، ويطلب من مصدر موثوق تسمية تلك النقاط، ثم يعيد التدريب. تتكرر هذه الدورة حتى يتم استنفاد الميزانية أو تلبية الأداء لهدف معين. النتيجة هي نموذج يتعلم بكفاءة، وينفق موارد التسمية بالضبط حيث تكون الأكثر أهمية - بالقرب من حدود القرار أو في المناطق المتفرقة من البيانات.
التاريخ
تم إنشاء الإطار الرسمي للتعلم النشط مع النماذج الإحصائية بواسطة Cohn و Ghahramani و Jordan في عام 1996، الذين أظهروا أن تقليل التباين في ظل نموذج احتمالي يوفر معيار استعلام مبدئي. وحد هذا العمل التعلم النشط مع الأدبيات الكلاسيكية لتصميم التجارب الأمثل (بالعودة إلى Kiefer و Wolfowitz، 1959). قام Settles (2012) لاحقًا بتوحيد مجال التعلم النشط الأوسع، ويظل الانحدار الخطي النشط مثالًا نموذجيًا يوضح المبادئ الأساسية للاستعلام حسب عدم اليقين.
متى تُستخدم
استخدم الانحدار الخطي بالتعلم النشط عندما تكون العلاقة بين المتنبئات والنتيجة المستمرة خطية تقريبًا، وتكون التسميات نادرة أو باهظة الثمن للحصول عليها (مثل، تجارب المختبر الرطب، الفحوصات السريرية، التعليقات التوضيحية للخبراء)، وهناك مجموعة كبيرة من المرشحين غير المسماة. وهي مناسبة بشكل خاص لمشاكل تصميم التجارب منخفضة الأبعاد. تجنبها عندما تكون العلاقة الحقيقية غير خطية بقوة (فضل متغيرات الانحدار الغاوسي النشط أو الشبكات العصبية)، عندما تكون تكلفة التسمية ضئيلة (تكفي العينات السلبية)، أو عندما تكون مجموعة المرشحين غير المسماة صغيرة جدًا للاستفادة من الاختيار.
الحدود والاعتبارات
- يفترض أن العلاقة الحقيقية خطية؛ يمكن أن يؤدي سوء تحديد النموذج إلى قرارات استعلام سيئة وتقديرات متحيزة.
- يتدهور الأداء في الإعدادات عالية الأبعاد حيث تكون مجموعة التسمية الأولية متفرقة جدًا لتقدير التباين بشكل موثوق.
- قد تركز استراتيجية الاستعلام الجشعة بشكل مفرط على مناطق الحدود مع إهمال تغطية الكتلة.
- يتطلب الوصول إلى مصدر موثوق (خبير بشري أو تجربة) يمكنه تسمية أي نقطة مستعلم عنها عند الطلب.
لا تغني شروط المصدر عن المراجعة العلمية المستقلة أو التحقق بواسطة محرك تحليل.
نقاط القوة
- يقلل بشكل كبير من جهد التسمية عن طريق استهداف الأمثلة الأكثر إفادة أولاً.
- متجذر في نظرية تصميم التجارب الأمثل الكلاسيكية، ويوفر ضمانات نظرية لتقليل التباين.
- بسيط وقابل للتفسير: يظل النموذج الأساسي انحدارًا خطيًا عاديًا بمعاملات شفافة.
- رخيص حسابيًا - تباين التنبؤ للانحدار الخطي له تحديث بصيغة مغلقة.
- يعمل بشكل جيد في الإعدادات منخفضة إلى متوسطة الأبعاد مع علاقات خطية حقيقية.
التطبيقات
- اكتشاف الأدوية وعلوم المواد: اختيار المركبات الكيميائية التي سيتم تصنيعها واختبارها بعد ذلك.
- التجارب السريرية: اختيار المرضى بشكل تكراري للقياس لتقليل حجم العينة مع تقدير منحنيات الاستجابة للجرعة.
- المراقبة البيئية: اختيار مواقع وضع أجهزة الاستشعار لتقدير حقول التلوث أو درجة الحرارة بشكل أمثل.
- خطوط أنابيب معالجة اللغة الطبيعية بمساعدة المُعلِّق: اختيار الجمل للتسمية من قبل الخبراء في مهام تسجيل النقاط المستندة إلى الانحدار.
- تحسين العمليات الصناعية: تصميم تجارب متسلسل لرسم سطح ناتج مستمر بأقل عدد ممكن من التشغيلات.
كيف يعمل
كيف يعمل
تبدأ الخوارزمية بمجموعة بذرة صغيرة مسماة ومجموعة كبيرة من الحالات غير المسماة. يجب أن تكون مجموعة البذرة متنوعة بما يكفي لإعطاء الانحدار الأولي ملاءمة أولية معقولة؛ عينة عشوائية من 5-20 نقطة هي خيار شائع.
يتم تطبيق نموذج انحدار خطي على المجموعة المسماة الحالية باستخدام المربعات الصغرى العادية. يحدد متجه المعامل المقدر بيتا-هات سطح التنبؤ الحالي عبر جميع المدخلات.
الصيغة
\hat{\beta} = (X^\top X)^{-1} X^\top yلكل نقطة غير مسماة، يتم حساب معيار استعلام - عادةً تباين التنبؤ لنموذج الانحدار عند تلك النقطة. يتم اختيار النقطة ذات التباين الأعلى (أكبر قدر من عدم اليقين) كمرشح الأكثر إفادة للتسمية. يتوافق الاختيار القائم على التباين مع تصميم التجارب الأمثل الكلاسيكي (معايير D-optimal أو A-optimal).
الصيغة
x^* = \arg\max_{x \in \mathcal{U}} \sigma^2(x)يتم تقديم النقطة غير المسماة المختارة إلى مصدر موثوق - مُعلِّق بشري، أو أداة معملية، أو نظام قياس آلي - والذي يوفر التسمية الحقيقية (قيمة الاستجابة المستمرة). عادة ما تكون خطوة التسمية هذه هي عنق الزجاجة من حيث التكلفة والوقت.
تتم إضافة النقطة المسماة حديثًا إلى المجموعة المسماة ويتم إعادة تطبيق نموذج الانحدار الخطي على المجموعة الموسعة. تستمر دورة الاستعلام-التسمية-إعادة التطبيق حتى يتم استنفاد ميزانية التسمية أو يتم استيفاء معيار التوقف (مثل، حد أدنى لتباين التنبؤ).
الأخطاء الشائعة
- البدء بمجموعة بذرة صغيرة جدًا أو غير ممثلة، مما يتسبب في أن تكون الاستعلامات المبكرة مدفوعة بنموذج سيئ الملاءمة.
- تجاهل سوء تحديد النموذج - إذا كانت البيانات غير خطية، فإن معيار التباين سيختار بشكل منهجي نقاطًا غير مفيدة.
- معاملة النموذج النهائي كما لو كان ملائمًا لعينة عشوائية سلبية؛ العينات النشطة ليست مستقلة ومتطابقة التوزيع (IID)، مما قد يبطل صيغ الخطأ المعياري القياسية.
- الخلط بين تباين التنبؤ وتباين البواقي؛ يجب أن يكون معيار الاستعلام هو تباين التنبؤ عند نقاط جديدة، وليس بواقي التدريب.
الأسئلة الشائعة
كيف يختلف التعلم النشط عن الانحدار الخطي العادي؟
يتم تطبيق الانحدار الخطي العادي على مجموعة بيانات مسماة تم جمعها بشكل سلبي. يضيف الانحدار الخطي بالتعلم النشط حلقة استعلام: بعد كل تطبيق، يختار النموذج النقطة غير المسماة التي يكون أكثر غموضًا بشأنها، ويطلب تسميتها، ويعيد التدريب - يتكرر حتى يتم إنفاق ميزانية التسمية.
ما هي استراتيجية الاستعلام الأفضل؟
بالنسبة للانحدار الخطي، فإن زيادة تباين التنبؤ (المعادل لتصميم التجارب D-optimal أو A-optimal) مبرر نظريًا وفعال عمليًا. يختار النقطة التي من شأنها أن تقلل من عدم اليقين العام في المعاملات إلى أقصى حد.
هل يمكنني استخدام هذا مع الانحدار المنظم (Ridge، Lasso)؟
نعم. يمكن حساب تباين التنبؤ للانحدار Ridge مع تعديل بسيط بصيغة مغلقة. بالنسبة لـ Lasso، فإن تعبير التباين أقل وضوحًا، لذا غالبًا ما يستخدم الممارسون تقديرات عدم اليقين المستندة إلى Bootstrap أو يتحولون إلى صياغة انحدار خطي بايزي.
هل يؤدي أخذ العينات النشط إلى تحيز الأخطاء المعيارية لمعاملات الانحدار؟
نعم. نظرًا لأن العينة المسماة لا يتم سحبها بشكل مستقل ومتطابق التوزيع (IID) من السكان، فإن صيغ الخطأ المعياري القياسية لـ OLS متحيزة. تشمل الحلول مقدرات موزونة بالاحتمالية العكسية أو إعادة التطبيق مع مجموعة اختبار عشوائية تم سحبها بشكل سلبي.
كم عدد نقاط البذرة التي أحتاجها للبدء؟
كحد أدنى، تحتاج إلى p + 1 نقطة مسماة لتطبيق انحدار بـ p متنبئ، ولكن يوصى بمجموعة بذرة من 2p نقطة على الأقل للحصول على تقدير تباين أولي مستقر. الاختيار العشوائي لمجموعة البذرة هو الممارسة القياسية.
طرق ذات صلة
المصادر
Settles, B. (2012). Active Learning. Synthesis Lectures on Artificial Intelligence and Machine Learning, 6(1), 1–114. Morgan & Claypool.
افتح مرجع DOIتم النسخ.Cohn, D. A., Ghahramani, Z., & Jordan, M. I. (1996). Active learning with statistical models. Journal of Artificial Intelligence Research, 4, 129–145.
افتح مرجع DOIتم النسخ.