Skip to content
بازگشت به نتایج جست‌وجو

کالیبراسیون مدل

معرفی‌شده توسط
Platt; Guo et al.
سال
2017
نوع
Post-hoc probability correction technique
خانواده
Trustworthy ML

این متن ترجمه ماشینی است و هنوز بازبینی نشده است. متن اصلی را به انگلیسی بخوانید

اندازه قلم

چه کاری انجام می‌دهد؟

کالیبراسیون مدل یک تکنیک پس از وقوع (post-hoc) است که خروجی‌های احتمالی یک طبقه‌بند آموزش‌دیده را طوری تنظیم می‌کند که امتیازات اطمینان پیش‌بینی‌شده با فراوانی نتایج تجربی مطابقت داشته باشند. گفته می‌شود یک طبقه‌بند کاملاً کالیبره شده است اگر از میان تمام پیش‌بینی‌های انجام شده با اطمینان p، دقیقاً کسری p از آن‌ها صحیح باشند. عدم کالیبراسیون سیستماتیک شبکه‌های عصبی عمیق مدرن توسط Guo et al. (2017) به طور دقیق مستند شد، که نشان دادند شبکه‌های آموزش‌دیده با تابع زیان استاندارد تقاطع آنتروپی (cross-entropy loss) تمایل به اطمینان بیش از حد (overconfident) دارند و مقیاس‌بندی دما (temperature scaling) را به عنوان یک راه‌حل ساده و مؤثر پیشنهاد کردند.

شهود پشت روش

یک پیش‌بینی‌کننده آب‌وهوا را تصور کنید که در 100 روز مختلف می‌گوید '90% احتمال بارندگی وجود دارد'. اگر تنها در 60 روز از آن روزها واقعاً باران ببارد، پیش‌بینی‌کننده بیش از حد مطمئن بوده است. کالیبراسیون مانند تنظیم مجدد مقیاس پیش‌بینی‌کننده است تا زمانی که 90% می‌گوید، نرخ بارندگی واقعاً 90% باشد. برای یک شبکه عصبی، این به معنای کشش یا فشرده‌سازی امتیازات اطمینان خام آن است تا زمانی که اعداد روی برچسب به طور قابل اعتماد منعکس کننده دفعات صحیح بودن شبکه باشند.

تاریخ

کالیبراسیون احتمالات ریشه‌هایی در مقیاس‌بندی پلات (Platt scaling) (Platt, 1999) دارد که یک سیگموئید را برای خروجی‌های SVM برازش می‌داد، و رگرسیون یکنواخت (isotonic regression) که برای طبقه‌بندهای بیز ساده (naive Bayes classifiers) اعمال می‌شد. درمان مدرن به طور قابل توجهی توسط Guo et al. (2017) پیشرفت کرد، که ResNet و معماری‌های دیگر را محک زدند و اطمینان بیش از حد سیستماتیک را با ظرفیت مدل مرتبط یافتند. پیشنهاد مقیاس‌بندی دمای آن‌ها به یک خط پایه استاندارد تبدیل شد و باعث کارهای پیگیری در مورد کالیبراسیون شرطی کلاس، کالیبراسیون گروهی (ensemble calibration) و کالیبراسیون تحت تغییر توزیع در اواخر دهه 2010 و 2020 شد.

چه زمانی استفاده شود

هر زمان که احتمالات پیش‌بینی‌شده به تصمیمات پایین‌دستی که به ارزش ظاهری آن‌ها بستگی دارد، مانند طبقه‌بندی ریسک پزشکی، آستانه‌های امتیازدهی تقلب، یا طبقه‌بندهای حساس به هزینه، تغذیه شوند، از کالیبراسیون مدل استفاده کنید. این امر به ویژه برای شبکه‌های عصبی عمیق مهم است، که Guo et al. (2017) نشان دادند با افزایش عمق و عرض مدل، اطمینان بیش از حد سیستماتیک آن‌ها افزایش می‌یابد. کالیبراسیون بر فرض وجود یک مجموعه جدا شده نماینده (representative held-out set) استوار است؛ این روش نمی‌تواند تغییر توزیع (distribution shift) بین توزیع‌های کالیبراسیون و استقرار را اصلاح کند. هنگامی که به جای احتمالات نقطه‌ای، فواصل پیش‌بینی مورد نیاز است، به جای آن پیش‌بینی همگرا (conformal prediction) را در نظر بگیرید.

محدودیت‌ها و ملاحظات

  • کالیبراسیون به یک مجموعه اعتبارسنجی جدا شده نیاز دارد؛ مجموعه‌های کالیبراسیون کوچک، تخمین‌های دمای نامعتبر تولید می‌کنند.
  • مقیاس‌بندی دما فرض می‌کند که یک اسکالر جهانی واحد کافی است، که این امر در مواردی که عدم کالیبراسیون مختص کلاس یا منطقه باشد، ممکن است شکست بخورد.
  • ECE به تعداد و عرض سطل‌ها حساس است و باعث می‌شود مقایسه‌های بین مطالعاتی بدون استانداردسازی، نویزدار باشند.
  • کالیبراسیون، تیزی (sharpness) یا توانایی تمایز (discriminative ability) را بهبود نمی‌بخشد؛ یک مدل با تمایز ضعیف پس از کالیبراسیون همچنان ضعیف باقی می‌ماند.

شرایط منبع جایگزین بررسی علمی مستقل یا اعتبارسنجی توسط موتور تحلیل نیست.

نقاط قوت

  • مقیاس‌بندی دما تنها یک پارامتر اضافه می‌کند و نمی‌تواند دقت طبقه‌بندی را کاهش دهد، که این امر آن را بسیار سبک (lightweight) می‌سازد.
  • ECE یک معیار تشخیصی قابل تفسیر و عملی ارائه می‌دهد که عدم کالیبراسیون را قبل و بعد از اصلاح کمی می‌کند.
  • کالیبراسیون پس از وقوع (post-hoc) مستقل از مدل (model-agnostic) است و می‌تواند بدون بازآموزی به هر طبقه‌بند از پیش آموزش‌دیده اعمال شود.
  • احتمالات کالیبره شده به خوبی، انتخاب آستانه قابل اعتماد و محاسبات ارزش مورد انتظار را در خطوط لوله پایین‌دستی امکان‌پذیر می‌سازد.

کاربردها

  • سیستم‌های تشخیص پزشکی که در آن‌ها امتیازات ریسک کالیبره نشده منجر به آستانه‌های درمانی نادرست می‌شوند.
  • امتیازدهی اعتباری و تشخیص تقلب که در آن‌ها خروجی‌های احتمالی تصمیمات پذیرش/رد حساس به هزینه را هدایت می‌کنند.
  • طبقه‌بندهای پردازش زبان طبیعی که در آن‌ها تجمیع وزنی اطمینان خروجی‌های مدل در یک مقیاس احتمالی مشترک مورد نیاز است.
  • خطوط لوله تشخیص اشیاء که از آستانه‌های اطمینان برای فیلتر کردن تشخیص‌های کاندید قبل از استدلال پایین‌دستی استفاده می‌کنند.
  • محیط‌های یادگیری گروهی (ensemble) و فدرال (federated learning) که در آن‌ها خروجی‌های چندین مدل باید در یک مقیاس احتمالی مشترک ترکیب شوند.

چگونه کار می‌کند

چگونه کار می‌کند

1

برای هر مثال اعتبارسنجی، حداکثر احتمال سافت‌مکس (softmax) را در میان تمام کلاس‌ها به عنوان اطمینان گزارش‌شده مدل استخراج کنید. این مقدار اسکالر نشان می‌دهد که مدل چقدر در مورد پیش‌بینی برتر خود ادعای اطمینان دارد و به عنوان ورودی خام به خط لوله کالیبراسیون عمل می‌کند.

فرمول
\hat{p}_i = \max_c \, \hat{\sigma}_c(\mathbf{x}_i)
2

پیش‌بینی‌ها را با اطمینان به M سطل (bin) با عرض برابر تقسیم کنید. برای هر سطل، شکاف بین میانگین اطمینان و میانگین دقت را محاسبه کنید، سپس میانگین وزنی را در میان سطل‌ها بگیرید. خطای کالیبراسیون مورد انتظار (Expected Calibration Error - ECE) حاصل، معیار تشخیصی اصلی است: ECE پایین‌تر نشان‌دهنده هم‌ترازی بهتر بین احتمالات پیش‌بینی‌شده و فراوانی‌های مشاهده‌شده است.

فرمول
\mathrm{ECE} = \sum_{m=1}^{M} \frac{|B_m|}{n} \left| \mathrm{acc}(B_m) - \mathrm{conf}(B_m) \right|
3

بردار لگاریتم پیش از سافت‌مکس (pre-softmax logit vector) را قبل از سافت‌مکس بر یک اسکالر یادگیرنده واحد T تقسیم کنید. هنگامی که T بزرگتر از 1 باشد، توزیع مسطح می‌شود و اطمینان بیش از حد کاهش می‌یابد؛ هنگامی که T کمتر از 1 باشد، تیزتر می‌شود. مقیاس‌بندی دما ترتیب رتبه‌بندی پیش‌بینی‌ها را تغییر نمی‌دهد و دقت را بدون تغییر باقی می‌گذارد در حالی که کالیبراسیون را بهبود می‌بخشد.

فرمول
\hat{q}_i = \max_c \, \sigma_{\mathrm{SM}}\!\left(\mathbf{z}_i / T\right)_c, \quad T > 0
4

دمای بهینه T* را با کمینه‌سازی منفی لگاریتم درست‌نمایی (negative log-likelihood - NLL) مجموعه اعتبارسنجی جدا شده (held-out) پیدا کنید. این یک مسئله بهینه‌سازی محدب یک‌بعدی است که به طور مؤثر با گرادیان نزولی (gradient descent) یا جستجوی خطی (line search) حل می‌شود. سپس T* حاصل ثابت شده و در زمان استنتاج (inference time) به تمام پیش‌بینی‌های آینده اعمال می‌شود.

فرمول
T^* = \arg\min_{T} \, \mathcal{L}_{\mathrm{NLL}}\!\left(\sigma_{\mathrm{SM}}(\mathbf{z}/T),\, y\right)

دام‌های رایج

  • کالیبره کردن روی همان داده‌های مورد استفاده برای آموزش منجر به بیش‌برازش (overfitting) و ECE به طور کاذب پایین در مجموعه آموزش می‌شود.
  • استفاده از احتمالات کالیبره شده به گونه‌ای که گویی تخمین‌های عدم قطعیت هستند، عدم قطعیت آلِتوریک (aleatoric) و اپیستمیک (epistemic) را با هم اشتباه می‌گیرد.
  • گزارش تنها ECE می‌تواند عدم کالیبراسیون ضعیف در دم‌ها (tails) را پنهان کند؛ همیشه نمودار قابلیت اطمینان (reliability diagram) را در کنار معیار اسکالر تجسم کنید.
  • اعمال یک مدل کالیبره شده بر روی یک توزیع استقرار شیفت‌یافته (shifted deployment distribution) کالیبراسیون را بی‌اعتبار می‌کند و ممکن است اطمینان گمراه‌کننده‌ای تولید کند.

پرسش‌های متداول

آیا کالیبراسیون بر دقت طبقه‌بندی تأثیر می‌گذارد؟

مقیاس‌بندی دما ترتیب رتبه‌بندی احتمالات کلاس را تغییر نمی‌دهد، بنابراین دقت رتبه اول (top-1 accuracy) بدون تغییر باقی می‌ماند. سایر روش‌های کالیبراسیون مانند رگرسیون یکنواخت ممکن است در موارد نادر پیش‌بینی آرگ‌ماکس (argmax) را تغییر دهند، اما هدف اصلی آن‌ها دقت احتمال است نه دقت طبقه‌بندی، و هرگونه تأثیر بر دقت معمولاً ناچیز است.

چگونه بفهمم مدل من به کالیبراسیون نیاز دارد؟

یک نمودار قابلیت اطمینان رسم کنید: پیش‌بینی‌ها را بر اساس سطل اطمینان گروه‌بندی کنید و میانگین اطمینان را در برابر دقت تجربی رسم کنید. یک مدل کاملاً کالیبره شده از خط مورب (diagonal) پیروی می‌کند. منحنی که به طور مداوم بالای خط مورب قرار دارد، نشان‌دهنده اطمینان بیش از حد است؛ منحنی زیر آن نشان‌دهنده اطمینان کمتر از حد است. ECE را به عنوان یک آمار خلاصه واحد محاسبه کنید؛ مقادیر بالاتر از حدود 0.05 معمولاً در عمل عدم کالیبراسیون غیربدیهی (non-trivial) در نظر گرفته می‌شوند.

چه زمانی باید به جای مقیاس‌بندی دما از رگرسیون یکنواخت استفاده کنم؟

رگرسیون یکنواخت یک تابع غیرپارامتری یکنواخت است و می‌تواند عدم کالیبراسیون پیچیده و غیریکنواخت را در سراسر دامنه احتمال ثبت کند. زمانی که نمودار قابلیت اطمینان الگوی غیریکنواخت یا نامنظم را نشان می‌دهد، آن را ترجیح دهید. با این حال، رگرسیون یکنواخت برای برازش قابل اعتماد به داده‌های بیشتری نیاز دارد، و مقیاس‌بندی دما معمولاً زمانی ترجیح داده می‌شود که مجموعه کالیبراسیون کوچک باشد یا زمانی که سادگی و قابلیت تفسیر اولویت دارند.

روش‌های مرتبط

منابع

  1. Guo, C., Pleiss, G., Sun, Y., & Weinberger, K. Q. (2017). On calibration of modern neural networks. International Conference on Machine Learning, 1321–1330.

    باز کردن مرجع انتشار
    کپی شد.