التنبؤ المطابق (Conformal Prediction)
- قدّمه
- Vovk, Gammerman & Shafer
- السنة
- 2005
- النوع
- Distribution-free uncertainty quantification framework
- العائلة
- Trustworthy ML
هذا النص ترجمة آلية ولم تتم مراجعته بعد. اقرأ النص الأصلي بالإنجليزية
ماذا تفعل؟
التنبؤ المطابق هو إطار عمل خالٍ من التوزيع لإنشاء مجموعات تنبؤ صالحة إحصائيًا (للتصنيف) أو فترات تنبؤ (للانحدار) حول مخرجات أي نموذج تعلم آلي مُدرب مسبقًا. وقد قدمه فوفك وجامرمان وشافر في دراستهم عام 2005، ويوفر ضمان تغطية هامشية لعدد محدود من العينات — حيث تقع التسمية الحقيقية داخل مجموعة التنبؤ باحتمالية لا تقل عن 1-ألفا — دون الحاجة إلى افتراضات بارامترية حول توزيع البيانات.
الفكرة الحدسية وراء الطريقة
تخيل محطة أرصاد جوية، بدلاً من أن تقول 'غدًا ستكون درجة الحرارة 22 درجة مئوية'، تقول 'غدًا ستكون درجة الحرارة بين 19 درجة مئوية و 25 درجة مئوية، ونحن نضمن أن هذه الفترة صحيحة بنسبة 90% على الأقل من الأيام على المدى الطويل'. يعمل التنبؤ المطابق بشكل مشابه: فهو يغلف التنبؤ النقطي لأي نموذج موجود بهامش أمان يعتمد على البيانات ويتم معايرته على أمثلة محتجزة، بحيث تكون المجموعة الناتجة موثوقة بشكل مثبت في ظل افتراضات خفيفة جدًا حول كيفية جمع البيانات.
التاريخ
تم إضفاء الطابع الرسمي على التنبؤ المطابق من قبل فلاديمير فوفك، وألكسندر جامرمان، وغلين شيفر في دراستهم لعام 2005 الصادرة عن سبرينغر، بناءً على أفكار سابقة للتعلم الاستقرائي عبر الإنترنت من أواخر التسعينيات. وقد انتشرت لاحقًا النسخة الاستقرائية (المطابقة المقسمة)، التي تفصل التدريب عن المعايرة، لجعل الطريقة قابلة للتطوير. شهدت عشرينيات القرن الحادي والعشرين تبنيًا سريعًا في التعلم العميق، مع امتدادات تشمل التنبؤ المطابق الموندرياني لضمانات شرطية، ومجموعات التنبؤ التي تتحكم في المخاطر، والتحكم المطابق في المخاطر.
متى تُستخدم
استخدم التنبؤ المطابق عندما تحتاج إلى ضمانات تغطية هامشية صارمة لعدد محدود من العينات وخالية من التوزيع لمخرجات عدم اليقين للنموذج دون افتراضات توزيعية. وهو مناسب لكل من مهام التصنيف والانحدار حيث تتوفر بيانات معايرة من نفس توزيع بيانات الاختبار. تشمل القيود افتراض قابلية التبادل (الذي ينتهك في ظل تحول المتغيرات المشتركة)، وأن التغطية هامشية وليست شرطية، مما يعني أن بعض المجموعات الفرعية قد تكون مغطاة بشكل أقل أو أكثر من اللازم. تشمل البدائل فترات بايزي الموثوقة (تتطلب افتراضات توزيعية) وانحدار الكميات (لا يوجد ضمان لعدد محدود من العينات بدون تغليف مطابق).
الحدود والاعتبارات
- ضمان التغطية هامشي (متوسط على مدخلات الاختبار)، وليس مشروطًا بكل x فردي.
- يفترض قابلية تبادل بيانات المعايرة والاختبار؛ يتدهور الأداء في ظل تحول المتغيرات المشتركة أو التسميات.
- يمكن أن تكون مجموعات التنبؤ كبيرة بشكل غير مفيد عندما يكون النموذج الأساسي ضعيفًا أو يكون معدل الخطأ المستهدف ألفا صغيرًا.
- تتطلب طرق المطابقة المقسمة مجموعة معايرة مخصصة، مما يقلل من البيانات المتاحة للتدريب.
لا تغني شروط المصدر عن المراجعة العلمية المستقلة أو التحقق بواسطة محرك تحليل.
نقاط القوة
- يوفر ضمانات تغطية هامشية لعدد محدود من العينات وخالية من التوزيع وصالحة لأي نموذج أساسي.
- لا يعتمد على النموذج: يغلف أي مصنف أو مُنحدِر مُدرب مسبقًا دون إعادة تدريب.
- خفيف الوزن من الناحية الحسابية في وقت الاستدلال — يتطلب فقط تخزين درجات المعايرة وحساب الكمي.
- تسمح درجات عدم المطابقة المرنة بالتكيف مع مهام متنوعة بما في ذلك اكتشاف الكائنات وتوليد اللغة الطبيعية.
التطبيقات
- التشخيص الطبي: إنتاج مجموعات تنبؤ لتصنيف الأمراض تضمن تضمين التشخيص الحقيقي باحتمالية عالية، مما يدعم اتخاذ القرارات السريرية الآمنة.
- اكتشاف الأدوية: توليد مناطق ثقة موثوقة لتنبؤات الخصائص الجزيئية، مما يساعد الكيميائيين على تحديد أولويات المركبات للاختبارات المعملية المكلفة.
- القيادة الذاتية: بناء مناطق عدم يقين مضمونة التغطية حول مخرجات اكتشاف الكائنات لتشغيل سلوكيات التراجع الآمنة.
- معالجة اللغة الطبيعية: مجموعات تنبؤ معايرة لتصنيف النصوص وعدم اليقين على مستوى الرمز في مخرجات نماذج اللغة الكبيرة.
- تقييم المخاطر المالية: فترات تنبؤ خالية من التوزيع لتوقعات العائدات تظل صالحة تحت التدقيق التنظيمي دون الحاجة إلى نماذج بارامترية.
كيف يعمل
كيف يعمل
يتم تدريب نموذج تعلم آلي تقليدي — أي مصنف أو مُنحدِر أو شبكة عصبية — على تقسيم تدريب مخصص. التنبؤ المطابق لا يعتمد على هذا النموذج؛ فهو يتعامل معه كصندوق أسود. تتأثر جودة مجموعات التنبؤ النهائية بمدى دقة النموذج الأساسي، لكن ضمان الصلاحية يبقى قائمًا بغض النظر عن ذلك.
الصيغة
\hat{f} \leftarrow \text{Train}(\{(x_i, y_i)\}_{i=1}^{n_{\text{train}}})على تقسيم معايرة منفصل لم يره النموذج الأساسي، يتم حساب درجة عدم المطابقة لكل مثال. بالنسبة للانحدار، تكون الدرجة عادةً هي الباقي المطلق |y - f_hat(x)|؛ أما بالنسبة للتصنيف، فيمكن أن تكون 1 ناقص الاحتمالية المتوقعة للفئة الحقيقية. تقيس هذه الدرجات مدى 'مفاجأة' كل نقطة معايرة بالنسبة للنموذج.
الصيغة
s_i = \|y_i - \hat{f}(x_i)\|, \quad i = 1, \dots, n_{\text{cal}}يتم حساب الكمي التجريبي (1-ألفا) لدرجات عدم المطابقة للمعايرة مع عامل تصحيح لعدد محدود من العينات. هذا الكمي المصحح q_hat هو العتبة التي، بفضل قابلية تبادل البيانات، ستضمن أن ضمان التغطية ينطبق على نقطة اختبار جديدة باحتمالية لا تقل عن 1-ألفا.
الصيغة
\hat{q} = \text{Quantile}\!\left(\{s_i\}_{i=1}^{n_{\text{cal}}};\ \frac{\lceil (n_{\text{cal}}+1)(1-\alpha) \rceil}{n_{\text{cal}}}\right)بالنسبة لمدخل اختبار جديد x_new، تحتوي مجموعة التنبؤ على كل تسمية مرشحة y لا تتجاوز درجة عدم المطابقة الخاصة بها q_hat. في الانحدار، ينتج عن هذا فترة [f_hat(x_new) - q_hat, f_hat(x_new) + q_hat]؛ وفي التصنيف، ينتج عنه المجموعة الفرعية من الفئات ذات الاحتمالية المتوقعة العالية بما يكفي. تضمن المجموعة تغطية التسمية الحقيقية باحتمالية هامشية لا تقل عن 1-ألفا.
الصيغة
\mathcal{C}(x_{\text{new}}) = \{y : s(x_{\text{new}}, y) \leq \hat{q}\}الأخطاء الشائعة
- استخدام مجموعة التدريب كمجموعة معايرة يزيد من التفاؤل ويدمر ضمان الصلاحية — استخدم دائمًا تقسيم معايرة محتجز.
- الخلط بين التغطية الهامشية والتغطية الشرطية: لا يعني الضمان أن كل مجموعة فرعية مغطاة عند مستوى 1-ألفا.
- تجاهل تحول التوزيع: تطبيق مُنبئ مطابق تمت معايرته على بيانات تاريخية على توزيع نشر متحول يكسر الضمان النظري.
- معاملة حجم مجموعة التنبؤ كمقياس مباشر للثقة دون إدراك أن حجم المجموعة يعتمد بشكل مشترك على جودة النموذج وقيمة ألفا المختارة.
الأسئلة الشائعة
هل يتطلب التنبؤ المطابق معرفة توزيع البيانات؟
لا. يعتمد ضمان التغطية الهامشية فقط على افتراض قابلية التبادل — تقريبًا أن نقاط المعايرة والاختبار يتم سحبها بشكل مستقل ومتطابق التوزيع (i.i.d.) من نفس التوزيع. لا يلزم تحديد عائلة بارامترية، وهذا ما يجعل الإطار 'خاليًا من التوزيع'. هذه هي ميزته النظرية الأساسية على فترات بايزي الموثوقة وفترات الثقة الكلاسيكية القائمة على الافتراض الطبيعي.
كيف يتم اختيار حجم مجموعة المعايرة، وكيف يؤثر على النتائج؟
تؤدي مجموعة معايرة أكبر إلى تقدير كمي تجريبي أكثر إحكامًا واستقرارًا، مما ينتج عنه مجموعات تنبؤ أصغر. القاعدة الشائعة هي بضع مئات على الأقل من أمثلة المعايرة. مع مجموعات معايرة صغيرة جدًا (أقل من 1/ألفا نقطة)، يفرض تصحيح عدد محدود من العينات مجموعات تغطية كاملة، مما يجعل الطريقة غير مفيدة. هناك مفاضلة قياسية بين التحيز والتباين بين حجم مجموعة التدريب وحجم مجموعة المعايرة.
هل يمكن تطبيق التنبؤ المطابق على الشبكات العصبية العميقة؟
نعم. نظرًا لأن الإطار لا يعتمد على النموذج، فإنه يغلف أي شبكة عصبية دون تعديل. يتم تعريف درجة عدم المطابقة عادةً باستخدام مخرجات softmax للنموذج للتصنيف أو تنبؤه النقطي للانحدار. من الناحية الحسابية، تتطلب المعايرة تمريرة أمامية واحدة فقط على مجموعة المعايرة، مما يجعلها عملية للغاية للنماذج الكبيرة.
طرق ذات صلة
المصادر
Vovk, V., Gammerman, A., & Shafer, G. (2005). Algorithmic Learning in a Random World. Springer.
ردمك: 978-0-387-00152-4تم النسخ.