الانتقال إلى المحتوى
العودة إلى نتائج البحث

معايرة النموذج

قدّمه
Platt; Guo et al.
السنة
2017
النوع
Post-hoc probability correction technique
العائلة
Trustworthy ML

هذا النص ترجمة آلية ولم تتم مراجعته بعد. اقرأ النص الأصلي بالإنجليزية

حجم الخط

ماذا تفعل؟

معايرة النموذج هي تقنية لاحقة للتدريب تقوم بتعديل مخرجات الاحتمالية لمصنف مُدرَّب بحيث تتطابق درجات الثقة المتوقعة مع الترددات التجريبية للنتائج. يُقال إن المصنف مُعاير تمامًا إذا كان، من بين جميع التنبؤات التي تمت بثقة p، جزء p منها بالضبط صحيحًا. تم توثيق سوء المعايرة المنهجي للشبكات العصبية العميقة الحديثة بدقة بواسطة Guo et al. (2017)، الذين أظهروا أن الشبكات المدربة باستخدام دالة الخسارة المتقاطعة القياسية تميل إلى أن تكون مفرطة الثقة، واقترحوا قياس درجة الحرارة كعلاج بسيط وفعال.

الفكرة الحدسية وراء الطريقة

تخيل متنبئًا بالطقس يقول 'هناك فرصة 90% لهطول الأمطار' في 100 يوم مختلف. إذا هطلت الأمطار في 60 يومًا فقط من تلك الأيام، فإن المتنبئ مفرط الثقة. المعايرة تشبه إعادة معايرة مقياس المتنبئ بحيث عندما يقول 90%، يكون معدل هطول الأمطار حقًا 90%. بالنسبة للشبكة العصبية، هذا يعني تمديد أو ضغط درجات الثقة الخام حتى تعكس الأرقام على الملصق بأمانة مدى صحة الشبكة.

التاريخ

تعود جذور معايرة الاحتمالات إلى مقياس بلات (Platt, 1999)، الذي قام بتكييف دالة سيجمويد مع مخرجات SVM، والانحدار المتساوي القياس المطبق على مصنفات بايز الساذجة. تم تطوير المعالجة الحديثة بشكل كبير بواسطة Guo et al. (2017)، الذين قاموا بتقييم ResNet وغيرها من البنى ووجدوا ثقة مفرطة منهجية مرتبطة بسعة النموذج. أصبح اقتراحهم لقياس درجة الحرارة معيارًا أساسيًا، مما حفز أعمال المتابعة حول المعايرة الشرطية للفئة، ومعايرة المجموعات، والمعايرة تحت تحول التوزيع طوال أواخر العقد الأول من القرن الحادي والعشرين والعقد الثاني منه.

متى تُستخدم

استخدم معايرة النموذج كلما كانت الاحتمالات المتوقعة ستغذي قرارات لاحقة تعتمد على قيمتها الاسمية، مثل تصنيف المخاطر الطبية، أو عتبات تسجيل الاحتيال، أو المصنفات الحساسة للتكلفة. وهي مهمة بشكل خاص للشبكات العصبية العميقة، التي أظهر Guo et al. (2017) أنها تصبح مفرطة الثقة بشكل متزايد مع نمو عمق النموذج وعرضه. تفترض المعايرة وجود مجموعة محتجزة تمثيلية؛ ولا يمكنها تصحيح تحول التوزيع بين توزيعات المعايرة والنشر. عندما تكون فترات التنبؤ بدلاً من الاحتمالات النقطية مطلوبة، فكر في التنبؤ المطابق بدلاً من ذلك.

الحدود والاعتبارات

  • تتطلب المعايرة مجموعة تحقق محتجزة؛ تنتج مجموعات المعايرة الصغيرة تقديرات غير موثوقة لدرجة الحرارة.
  • يفترض قياس درجة الحرارة أن عددًا قياسيًا عالميًا واحدًا يكفي، وهو ما قد يفشل عندما يكون سوء المعايرة خاصًا بفئة أو منطقة معينة.
  • ECE حساس لعدد الصناديق وعرضها، مما يجعل المقارنات بين الدراسات صاخبة بدون توحيد قياسي.
  • لا تحسن المعايرة الحدة أو القدرة التمييزية؛ يظل النموذج ضعيف التمييز كذلك بعد المعايرة.

لا تغني شروط المصدر عن المراجعة العلمية المستقلة أو التحقق بواسطة محرك تحليل.

نقاط القوة

  • يضيف قياس درجة الحرارة معلمة واحدة فقط ولا يمكنه تقليل دقة التصنيف، مما يجعله خفيف الوزن للغاية.
  • يوفر ECE تشخيصًا قابلاً للتفسير وقابلاً للتنفيذ يحدد كمية سوء المعايرة قبل وبعد التصحيح.
  • المعايرة اللاحقة للتدريب مستقلة عن النموذج ويمكن تطبيقها على أي مصنف مُدرب مسبقًا دون إعادة تدريب.
  • تتيح الاحتمالات المعايرة جيدًا اختيارًا موثوقًا للعتبات وحسابات القيمة المتوقعة في خطوط الأنابيب اللاحقة.

التطبيقات

  • أنظمة التشخيص الطبي حيث تؤدي درجات المخاطر غير المعايرة إلى عتبات علاج غير صحيحة.
  • تسجيل الائتمان واكتشاف الاحتيال حيث تدفع مخرجات الاحتمالية قرارات القبول/الرفض الحساسة للتكلفة.
  • مصنفات معالجة اللغة الطبيعية حيث يلزم تجميع مخرجات النموذج المرجحة بالثقة.
  • خطوط أنابيب اكتشاف الكائنات التي تستخدم عتبات الثقة لتصفية الاكتشافات المرشحة قبل الاستدلال اللاحق.
  • إعدادات التعلم الجماعي والموحد حيث يجب دمج المخرجات من نماذج متعددة على مقياس احتمالي مشترك.

كيف يعمل

كيف يعمل

1

لكل مثال تحقق، استخرج أقصى احتمالية softmax عبر جميع الفئات كدرجة ثقة النموذج المبلغ عنها. يمثل هذا العدد القياسي مدى تأكد النموذج من تنبؤه الأعلى ويعمل كمدخل خام لخط أنابيب المعايرة.

الصيغة
\hat{p}_i = \max_c \, \hat{\sigma}_c(\mathbf{x}_i)
2

قسّم التنبؤات إلى M صناديق متساوية العرض حسب الثقة. لكل صندوق، احسب الفجوة بين متوسط الثقة ومتوسط الدقة، ثم خذ متوسطًا مرجحًا عبر الصناديق. يمثل خطأ المعايرة المتوقع (ECE) التشخيص الأساسي: يشير انخفاض ECE إلى توافق أفضل بين الاحتمالات المتوقعة والترددات المرصودة.

الصيغة
\mathrm{ECE} = \sum_{m=1}^{M} \frac{|B_m|}{n} \left| \mathrm{acc}(B_m) - \mathrm{conf}(B_m) \right|
3

اقسم متجه لوغاريتم ما قبل softmax على عدد قياسي واحد قابل للتعلم T قبل softmax. عندما يكون T أكبر من 1، يتم تسطيح التوزيع، مما يقلل من الثقة المفرطة؛ عندما يكون T أقل من 1، يتم شحذه. لا يغير قياس درجة الحرارة ترتيب التنبؤات، مما يترك الدقة دون تغيير مع تحسين المعايرة.

الصيغة
\hat{q}_i = \max_c \, \sigma_{\mathrm{SM}}\!\left(\mathbf{z}_i / T\right)_c, \quad T > 0
4

ابحث عن درجة الحرارة المثلى T* عن طريق تقليل اللوغاريتم السلبي للاحتمالية (NLL) لمجموعة التحقق المحتجزة. هذه مشكلة تحسين محدبة أحادية البعد، تُحل بكفاءة باستخدام انحدار التدرج أو البحث الخطي. يتم بعد ذلك تثبيت T* الناتج وتطبيقه في وقت الاستدلال على جميع التنبؤات المستقبلية.

الصيغة
T^* = \arg\min_{T} \, \mathcal{L}_{\mathrm{NLL}}\!\left(\sigma_{\mathrm{SM}}(\mathbf{z}/T),\, y\right)

الأخطاء الشائعة

  • المعايرة على نفس البيانات المستخدمة للتدريب تؤدي إلى الإفراط في التجهيز وECE منخفض بشكل زائف على مجموعة التدريب.
  • استخدام الاحتمالات المعايرة كما لو كانت تقديرات عدم اليقين يخلط بين عدم اليقين العشوائي والمعرفي.
  • الإبلاغ عن ECE فقط يمكن أن يخفي سوء المعايرة في الأطراف؛ قم دائمًا بتصور مخطط الموثوقية جنبًا إلى جنب مع المقياس القياسي.
  • تطبيق نموذج معاير على توزيع نشر متغير يبطل المعايرة وقد ينتج عنه ثقة مضللة.

الأسئلة الشائعة

هل تؤثر المعايرة على دقة التصنيف؟

لا يغير قياس درجة الحرارة ترتيب احتمالات الفئات، لذا تظل دقة أعلى-1 دون تغيير. قد تغير طرق المعايرة الأخرى مثل الانحدار المتساوي القياس في حالات نادرة تنبؤ argmax، ولكن هدفها الأساسي هو دقة الاحتمال بدلاً من دقة التصنيف، وعادة ما يكون أي تأثير على الدقة ضئيلًا.

كيف أعرف ما إذا كان نموذجي يحتاج إلى معايرة؟

ارسم مخطط موثوقية: قم بتجميع التنبؤات حسب صندوق الثقة وارسم متوسط الثقة مقابل الدقة التجريبية. يتبع النموذج المعاير تمامًا الخط القطري. يشير المنحنى الذي يقع باستمرار فوق الخط القطري إلى الثقة المفرطة؛ ويشير المنحنى الذي يقع تحته إلى الثقة الناقصة. احسب ECE كإحصائية ملخصة واحدة؛ تعتبر القيم التي تزيد عن 0.05 تقريبًا سوء معايرة غير تافه في الممارسة العملية.

متى يجب أن أستخدم الانحدار المتساوي القياس بدلاً من قياس درجة الحرارة؟

الانحدار المتساوي القياس هو دالة رتيبة غير معلمية ويمكنه التقاط سوء معايرة معقد وغير منتظم عبر نطاق الاحتمال. يفضل استخدامه عندما يظهر مخطط الموثوقية نمطًا غير رتيب أو غير منتظم. ومع ذلك، يتطلب الانحدار المتساوي القياس المزيد من البيانات ليتم تكييفه بشكل موثوق، وعادة ما يفضل قياس درجة الحرارة عندما تكون مجموعة المعايرة صغيرة أو عندما تكون البساطة وقابلية التفسير من الأولويات.

طرق ذات صلة

المصادر

  1. Guo, C., Pleiss, G., Sun, Y., & Weinberger, K. Q. (2017). On calibration of modern neural networks. International Conference on Machine Learning, 1321–1330.

    افتح مرجع المنشور
    تم النسخ.