Skip to content
بازگشت به نتایج جست‌وجو

پیش‌بینی تطبیقی

معرفی‌شده توسط
Vovk, Gammerman & Shafer
سال
2005
نوع
Distribution-free uncertainty quantification framework
خانواده
Trustworthy ML

این متن ترجمه ماشینی است و هنوز بازبینی نشده است. متن اصلی را به انگلیسی بخوانید

اندازه قلم

چه کاری انجام می‌دهد؟

پیش‌بینی تطبیقی (Conformal Prediction) چارچوبی مستقل از توزیع برای ساخت مجموعه‌های پیش‌بینی معتبر آماری (برای طبقه‌بندی) یا بازه‌های پیش‌بینی (برای رگرسیون) حول خروجی هر مدل یادگیری ماشین از پیش آموزش‌دیده است. این روش که توسط ووفک، گامرمن و شیفر در تک‌نگاشت سال ۲۰۰۵ خود معرفی شد، تضمین پوشش حاشیه‌ای نمونه متناهی را فراهم می‌کند — برچسب واقعی با احتمال حداقل ۱-آلفا در مجموعه پیش‌بینی قرار می‌گیرد — بدون نیاز به مفروضات پارامتری در مورد توزیع داده‌ها.

شهود پشت روش

یک ایستگاه هواشناسی را تصور کنید که به جای گفتن «فردا ۲۲ درجه سانتی‌گراد خواهد بود»، می‌گوید «فردا بین ۱۹ درجه سانتی‌گراد و ۲۵ درجه سانتی‌گراد خواهد بود، و ما تضمین می‌کنیم که این بازه در حداقل ۹۰٪ روزها در بلندمدت صحیح است.» پیش‌بینی تطبیقی به طور مشابه عمل می‌کند: پیش‌بینی نقطه‌ای هر مدل موجود را با یک حاشیه ایمنی مبتنی بر داده که بر روی نمونه‌های نگهداری‌شده کالیبره شده است، می‌پوشاند، به طوری که مجموعه حاصل تحت مفروضات بسیار ملایم در مورد نحوه جمع‌آوری داده‌ها، به طور اثبات‌پذیری قابل اعتماد است.

تاریخ

پیش‌بینی تطبیقی توسط ولادیمیر ووفک، الکساندر گامرمن و گلن شیفر در تک‌نگاشت اسپرینگر سال ۲۰۰۵ آنها، بر اساس ایده‌های یادگیری استقرایی آنلاین قبلی از اواخر دهه ۱۹۹۰، رسمی شد. نوع استقرایی (تطبیقی-تقسیمی)، که آموزش را از کالیبراسیون جدا می‌کند، بعداً برای مقیاس‌پذیر کردن روش محبوب شد. دهه ۲۰۲۰ شاهد پذیرش سریع در یادگیری عمیق بود، با توسعه‌هایی از جمله پیش‌بینی تطبیقی موندریان برای تضمین‌های شرطی، مجموعه‌های پیش‌بینی کنترل‌کننده ریسک، و کنترل ریسک تطبیقی.

چه زمانی استفاده شود

از پیش‌بینی تطبیقی زمانی استفاده کنید که به تضمین‌های پوشش دقیق و نمونه متناهی بر روی خروجی عدم قطعیت یک مدل بدون مفروضات توزیعی نیاز دارید. این روش برای هر دو وظایف طبقه‌بندی و رگرسیون که داده‌های کالیبراسیون از همان توزیع داده‌های آزمون در دسترس هستند، مناسب است. محدودیت‌ها شامل فرض تعویض‌پذیری (که تحت تغییر کوواریانس نقض می‌شود) و این است که پوشش حاشیه‌ای است نه شرطی، به این معنی که برخی زیرگروه‌ها ممکن است کمتر یا بیشتر پوشش داده شوند. جایگزین‌ها شامل بازه‌های اعتباری بیزی (نیاز به مفروضات توزیعی دارند) و رگرسیون کوانتیل (بدون تضمین نمونه متناهی بدون پوشش تطبیقی) هستند.

محدودیت‌ها و ملاحظات

  • تضمین پوشش حاشیه‌ای است (میانگین‌گیری شده بر روی ورودی‌های آزمون)، نه شرطی بر روی هر x منفرد.
  • فرض تعویض‌پذیری داده‌های کالیبراسیون و آزمون را دارد؛ عملکرد تحت تغییر کوواریانس یا برچسب کاهش می‌یابد.
  • مجموعه‌های پیش‌بینی می‌توانند به طور غیرمفیدی بزرگ باشند زمانی که مدل پایه ضعیف است یا نرخ خطای پوشش هدف آلفا کوچک است.
  • روش‌های تطبیقی-تقسیمی نیاز به یک مجموعه کالیبراسیون اختصاصی دارند که داده‌های موجود برای آموزش را کاهش می‌دهد.

شرایط منبع جایگزین بررسی علمی مستقل یا اعتبارسنجی توسط موتور تحلیل نیست.

نقاط قوت

  • تضمین‌های پوشش حاشیه‌ای نمونه متناهی و مستقل از توزیع را برای هر مدل پایه فراهم می‌کند.
  • مدل-ناشناس: هر طبقه‌بند یا رگرسور از پیش آموزش‌دیده را بدون آموزش مجدد می‌پوشاند.
  • از نظر محاسباتی در زمان استنتاج سبک است — فقط نیاز به ذخیره امتیازات کالیبراسیون و محاسبه یک کوانتیل دارد.
  • امتیازات عدم انطباق انعطاف‌پذیر امکان انطباق با وظایف متنوع از جمله تشخیص شیء و تولید زبان طبیعی را فراهم می‌کند.

کاربردها

  • تشخیص پزشکی: تولید مجموعه‌های پیش‌بینی برای طبقه‌بندی بیماری که تضمین می‌کند تشخیص واقعی با احتمال بالا گنجانده شده است و از تصمیم‌گیری بالینی ایمن حمایت می‌کند.
  • کشف دارو: تولید مناطق اطمینان قابل اعتماد برای پیش‌بینی خواص مولکولی، کمک به شیمی‌دانان برای اولویت‌بندی ترکیبات برای آزمایش‌های آزمایشگاهی پرهزینه.
  • رانندگی خودکار: ساخت مناطق عدم قطعیت با تضمین پوشش حول خروجی‌های تشخیص شیء برای فعال کردن رفتارهای ایمن بازگشتی.
  • پردازش زبان طبیعی: مجموعه‌های پیش‌بینی کالیبره شده برای طبقه‌بندی متن و عدم قطعیت در سطح توکن در خروجی‌های مدل‌های زبان بزرگ.
  • ارزیابی ریسک مالی: بازه‌های پیش‌بینی مستقل از توزیع برای پیش‌بینی‌های بازده که تحت نظارت نظارتی بدون نیاز به مدل‌های پارامتری معتبر باقی می‌مانند.

چگونه کار می‌کند

چگونه کار می‌کند

1

یک مدل یادگیری ماشین متعارف — هر طبقه‌بند، رگرسور یا شبکه عصبی — بر روی یک بخش آموزشی اختصاصی آموزش داده می‌شود. پیش‌بینی تطبیقی نسبت به این مدل بی‌تفاوت است؛ آن را به عنوان یک جعبه سیاه در نظر می‌گیرد. کیفیت مجموعه‌های پیش‌بینی نهایی تحت تأثیر دقت مدل پایه است، اما تضمین اعتبار بدون توجه به آن برقرار است.

فرمول
\hat{f} \leftarrow \text{Train}(\{(x_i, y_i)\}_{i=1}^{n_{\text{train}}})
2

در یک بخش کالیبراسیون جداگانه که مدل پایه آن را ندیده است، یک امتیاز عدم انطباق برای هر نمونه محاسبه می‌شود. برای رگرسیون، امتیاز معمولاً باقیمانده مطلق |y - f_hat(x)| است؛ برای طبقه‌بندی می‌تواند ۱ منهای احتمال پیش‌بینی شده کلاس واقعی باشد. این امتیازات میزان «شگفت‌انگیز» بودن هر نقطه کالیبراسیون را نسبت به مدل اندازه‌گیری می‌کنند.

فرمول
s_i = \|y_i - \hat{f}(x_i)\|, \quad i = 1, \dots, n_{\text{cal}}
3

کوانتیل تجربی (۱-آلفا) امتیازات عدم انطباق کالیبراسیون با یک عامل تصحیح نمونه متناهی محاسبه می‌شود. این کوانتیل تصحیح‌شده q_hat آستانه‌ای است که، با قابلیت تعویض‌پذیری داده‌ها، تضمین می‌کند که پوشش بر روی یک نقطه آزمون جدید با احتمال حداقل ۱-آلفا برقرار باشد.

فرمول
\hat{q} = \text{Quantile}\!\left(\{s_i\}_{i=1}^{n_{\text{cal}}};\ \frac{\lceil (n_{\text{cal}}+1)(1-\alpha) \rceil}{n_{\text{cal}}}\right)
4

برای یک ورودی آزمون جدید x_new، مجموعه پیش‌بینی شامل هر برچسب کاندید y است که امتیاز عدم انطباق آن از q_hat تجاوز نمی‌کند. در رگرسیون این یک بازه [f_hat(x_new) - q_hat, f_hat(x_new) + q_hat] را به دست می‌دهد؛ در طبقه‌بندی زیرمجموعه‌ای از کلاس‌ها با احتمال پیش‌بینی شده به اندازه کافی بالا را به دست می‌دهد. تضمین می‌شود که مجموعه برچسب واقعی را با احتمال حاشیه‌ای حداقل ۱-آلفا پوشش دهد.

فرمول
\mathcal{C}(x_{\text{new}}) = \{y : s(x_{\text{new}}, y) \leq \hat{q}\}

دام‌های رایج

  • استفاده از مجموعه آموزشی به عنوان مجموعه کالیبراسیون خوش‌بینی را افزایش می‌دهد و تضمین اعتبار را از بین می‌برد — همیشه از یک بخش کالیبراسیون نگهداری‌شده استفاده کنید.
  • اشتباه گرفتن پوشش حاشیه‌ای با پوشش شرطی: تضمین به این معنی نیست که هر زیرجمعیت در سطح ۱-آلفا پوشش داده می‌شود.
  • نادیده گرفتن تغییر توزیع: اعمال یک پیش‌بینی‌کننده تطبیقی کالیبره شده بر روی داده‌های تاریخی به یک توزیع استقرار تغییر یافته، تضمین نظری را از بین می‌برد.
  • در نظر گرفتن اندازه مجموعه پیش‌بینی به عنوان یک معیار مستقیم اطمینان بدون تشخیص اینکه اندازه مجموعه به طور مشترک به کیفیت مدل و آلفای انتخاب شده بستگی دارد.

پرسش‌های متداول

آیا پیش‌بینی تطبیقی نیاز به دانستن توزیع داده‌ها دارد؟

خیر. تضمین پوشش حاشیه‌ای فقط به فرض تعویض‌پذیری متکی است — تقریباً اینکه نقاط کالیبراسیون و آزمون به طور مستقل و هم‌توزیع (i.i.d.) از یک توزیع یکسان نمونه‌برداری می‌شوند. هیچ خانواده پارامتری نیازی به تعیین ندارد، که این چارچوب را «مستقل از توزیع» می‌کند. این مزیت نظری اصلی آن نسبت به بازه‌های اعتباری بیزی و بازه‌های اطمینان کلاسیک مبتنی بر نرمال بودن است.

اندازه مجموعه کالیبراسیون چگونه انتخاب می‌شود و چگونه بر نتایج تأثیر می‌گذارد؟

یک مجموعه کالیبراسیون بزرگتر، تخمین کوانتیل تجربی دقیق‌تر و پایدارتری را به دست می‌دهد که منجر به مجموعه‌های پیش‌بینی کوچکتر می‌شود. یک قاعده کلی رایج حداقل چند صد نمونه کالیبراسیون است. با مجموعه‌های کالیبراسیون بسیار کوچک (کمتر از ۱/آلفا نقطه) تصحیح نمونه متناهی مجموعه‌های پوشش کامل را مجبور می‌کند و روش را بی‌اطلاع می‌سازد. یک مبادله استاندارد سوگیری-واریانس بین اندازه مجموعه آموزشی و اندازه مجموعه کالیبراسیون وجود دارد.

آیا پیش‌بینی تطبیقی را می‌توان برای شبکه‌های عصبی عمیق به کار برد؟

بله. از آنجا که این چارچوب مدل-ناشناس است، هر شبکه عصبی را بدون تغییر می‌پوشاند. امتیاز عدم انطباق معمولاً با استفاده از خروجی سافت‌مکس مدل برای طبقه‌بندی یا پیش‌بینی نقطه‌ای آن برای رگرسیون تعریف می‌شود. از نظر محاسباتی، کالیبراسیون فقط به یک گذر رو به جلو بر روی مجموعه کالیبراسیون نیاز دارد، که آن را برای مدل‌های بزرگ بسیار عملی می‌کند.

روش‌های مرتبط

منابع

  1. Vovk, V., Gammerman, A., & Shafer, G. (2005). Algorithmic Learning in a Random World. Springer.

    شابک: 978-0-387-00152-4
    کپی شد.