Skip to content
بازگشت به نتایج جست‌وجو

یادگیری فعال رگرسیون خطی

معرفی‌شده توسط
Cohn, D. A.; Ghahramani, Z.; Jordan, M. I.
سال
1996
نوع
Active learning / iterative supervised learning
خانواده
Machine learning

این متن ترجمه ماشینی است و هنوز بازبینی نشده است. متن اصلی را به انگلیسی بخوانید

اندازه قلم

چه کاری انجام می‌دهد؟

یادگیری فعال رگرسیون خطی یک رویکرد تکرارشونده یادگیری ماشین است که یک مدل رگرسیون خطی را با یک استراتژی پرس‌وجوی هوشمند برای انتخاب آموزنده‌ترین نقاط بدون برچسب برای برچسب‌گذاری ترکیب می‌کند. با تمرکز تلاش برچسب‌گذاری در جایی که عدم قطعیت بالاتر است، به دقت پیش‌بینی رقابتی با تعداد بسیار کمتری از نمونه‌های برچسب‌دار نسبت به نمونه‌گیری تصادفی منفعل دست می‌یابد.

شهود پشت روش

برچسب‌گذاری داده‌ها اغلب پرهزینه است — به اندازه‌گیری‌های بالینی، حاشیه‌نویسی‌های تخصصی، یا آزمایش‌های آزمایشگاهی فکر کنید. به جای برچسب‌گذاری تصادفی همه چیز، یک یادگیرنده فعال، رگرسیون را بر روی مجموعه کوچک برچسب‌دار موجود خود برازش می‌دهد، مشخص می‌کند که پیش‌بینی‌هایش در کجا بیشترین عدم قطعیت را دارند، از یک اوراکل می‌خواهد آن نقاط را برچسب‌گذاری کند، و سپس دوباره برازش می‌دهد. این چرخه تکرار می‌شود تا زمانی که بودجه تمام شود یا عملکرد به هدف برسد. نتیجه یک مدل است که به طور کارآمد یاد می‌گیرد و منابع برچسب‌گذاری را دقیقاً در جایی که بیشترین اهمیت را دارند خرج می‌کند — نزدیک مرزهای تصمیم یا در مناطق کم‌تراکم داده.

تاریخ

چارچوب رسمی برای یادگیری فعال با مدل‌های آماری توسط Cohn، Ghahramani و Jordan در سال ۱۹۹۶ ایجاد شد، که نشان دادند کاهش واریانس تحت یک مدل احتمالی یک معیار پرس‌وجوی اصولی را فراهم می‌کند. این کار یادگیری فعال را با ادبیات کلاسیک طراحی آزمایش بهینه (بازگشت به Kiefer و Wolfowitz، ۱۹۵۹) یکپارچه کرد. Settles (۲۰۱۲) بعداً حوزه گسترده‌تر یادگیری فعال را تثبیت کرد، و رگرسیون خطی فعال همچنان یک مثال کانونی است که اصول اصلی پرس‌وجو بر اساس عدم قطعیت را نشان می‌دهد.

چه زمانی استفاده شود

هنگامی که رابطه بین پیش‌بینی‌کننده‌ها و یک پیامد پیوسته تقریباً خطی است، برچسب‌ها کمیاب یا به دست آوردن آنها پرهزینه است (مانند آزمایش‌های آزمایشگاهی، سنجش‌های بالینی، حاشیه‌نویسی تخصصی)، و یک استخر بزرگ از کاندیداهای بدون برچسب وجود دارد، از یادگیری فعال رگرسیون خطی استفاده کنید. این روش به ویژه برای مسائل طراحی آزمایش با ابعاد کم مناسب است. از آن زمانی که رابطه واقعی به شدت غیرخطی است (ترجیحاً از انواع یادگیری فعال فرآیند گاوسی یا شبکه‌های عصبی استفاده کنید)، زمانی که هزینه برچسب ناچیز است (نمونه‌گیری منفعل کافی است)، یا زمانی که استخر بدون برچسب برای بهره‌مندی از انتخاب خیلی کوچک است، از آن اجتناب کنید.

محدودیت‌ها و ملاحظات

  • فرض می‌کند که رابطه واقعی خطی است؛ مشخصات نادرست می‌تواند منجر به تصمیمات پرس‌وجوی ضعیف و تخمین‌های بایاس شود.
  • عملکرد در تنظیمات با ابعاد بالا که در آن استخر برچسب‌دار اولیه برای تخمین قابل اعتماد واریانس بسیار پراکنده است، کاهش می‌یابد.
  • استراتژی پرس‌وجوی حریصانه می‌تواند به طور بیش از حد بر مناطق مرزی تمرکز کند در حالی که پوشش توده‌ای را نادیده می‌گیرد.
  • نیاز به دسترسی به یک اوراکل (متخصص انسانی یا آزمایش) دارد که بتواند هر نقطه پرس‌وجو شده را در صورت تقاضا برچسب‌گذاری کند.

شرایط منبع جایگزین بررسی علمی مستقل یا اعتبارسنجی توسط موتور تحلیل نیست.

نقاط قوت

  • تلاش برچسب‌گذاری را با هدف قرار دادن آموزنده‌ترین نمونه‌ها در ابتدا به شدت کاهش می‌دهد.
  • مبتنی بر تئوری کلاسیک طراحی آزمایش بهینه است و تضمین‌های نظری در مورد کاهش واریانس ارائه می‌دهد.
  • ساده و قابل تفسیر: مدل زیرین رگرسیون خطی معمولی با ضرایب شفاف باقی می‌ماند.
  • از نظر محاسباتی ارزان است — واریانس پیش‌بینی برای رگرسیون خطی یک به‌روزرسانی فرم بسته دارد.
  • در تنظیمات با ابعاد کم تا متوسط با روابط واقعاً خطی به خوبی کار می‌کند.

کاربردها

  • کشف دارو و علم مواد: انتخاب اینکه کدام ترکیبات شیمیایی باید در مرحله بعد سنتز و آزمایش شوند.
  • کارآزمایی‌های بالینی: انتخاب تکراری بیماران برای اندازه‌گیری به منظور به حداقل رساندن اندازه نمونه در حالی که منحنی‌های دوز-پاسخ تخمین زده می‌شوند.
  • نظارت زیست‌محیطی: انتخاب مکان‌های قرارگیری سنسور برای تخمین بهینه میدان‌های آلودگی یا دما.
  • خطوط لوله پردازش زبان طبیعی با حاشیه‌نویس در حلقه: انتخاب جملات برای برچسب‌گذاری تخصصی در وظایف امتیازدهی مبتنی بر رگرسیون.
  • بهینه‌سازی فرآیند صنعتی: طراحی متوالی آزمایش‌ها برای ترسیم یک سطح خروجی پیوسته با حداقل اجرا.

چگونه کار می‌کند

چگونه کار می‌کند

1

الگوریتم با یک مجموعه بذر کوچک برچسب‌دار و یک استخر بزرگ از نمونه‌های بدون برچسب آغاز می‌شود. مجموعه بذر باید به اندازه کافی متنوع باشد تا برازش اولیه معقولی به رگرسیون اولیه بدهد؛ نمونه‌گیری تصادفی از ۵ تا ۲۰ نقطه یک انتخاب رایج است.

2

یک مدل رگرسیون خطی با استفاده از کمترین مربعات معمولی بر روی مجموعه برچسب‌دار فعلی برازش داده می‌شود. بردار ضرایب تخمینی بتا-هت سطح پیش‌بینی فعلی را در تمام ورودی‌ها تعریف می‌کند.

فرمول
\hat{\beta} = (X^\top X)^{-1} X^\top y
3

برای هر نقطه بدون برچسب، یک معیار پرس‌وجو محاسبه می‌شود — معمولاً واریانس پیش‌بینی مدل رگرسیون در آن نقطه. نقطه‌ای با بالاترین واریانس (بیشترین عدم قطعیت) به عنوان آموزنده‌ترین کاندید برای برچسب‌گذاری انتخاب می‌شود. انتخاب مبتنی بر واریانس با طراحی آزمایش بهینه کلاسیک (معیارهای D-optimal یا A-optimal) مطابقت دارد.

فرمول
x^* = \arg\max_{x \in \mathcal{U}} \sigma^2(x)
4

نقطه بدون برچسب انتخاب شده به یک اوراکل — یک حاشیه‌نویس انسانی، یک ابزار آزمایشگاهی، یا یک سیستم اندازه‌گیری خودکار — ارائه می‌شود که برچسب واقعی (مقدار پاسخ پیوسته) را فراهم می‌کند. این مرحله برچسب‌گذاری معمولاً گلوگاه هزینه و زمان است.

5

نقطه تازه برچسب‌گذاری شده به مجموعه برچسب‌دار اضافه می‌شود و مدل رگرسیون خطی بر روی مجموعه گسترش یافته دوباره برازش داده می‌شود. چرخه پرس‌وجو-برچسب-بازبرازش ادامه می‌یابد تا زمانی که بودجه برچسب‌گذاری تمام شود یا یک معیار توقف (مانند آستانه حداقل واریانس) برآورده شود.

دام‌های رایج

  • شروع با یک مجموعه بذر که خیلی کوچک یا غیرنماینده است، باعث می‌شود پرس‌وجوهای اولیه توسط یک مدل ضعیف برازش شده هدایت شوند.
  • نادیده گرفتن مشخصات نادرست مدل — اگر داده‌ها غیرخطی باشند، معیار واریانس به طور سیستماتیک نقاط نامفید را انتخاب می‌کند.
  • رفتار با مدل نهایی به گونه‌ای که گویی بر روی یک نمونه تصادفی منفعل برازش شده است؛ نمونه‌های فعال مستقل و هم‌توزیع نیستند (IID)، که می‌تواند فرمول‌های استاندارد خطای استاندارد را نامعتبر کند.
  • اشتباه گرفتن واریانس پیش‌بینی با واریانس باقی‌مانده؛ معیار پرس‌وجو باید واریانس پیش‌بینی در نقاط جدید باشد، نه باقی‌مانده آموزش.

پرسش‌های متداول

یادگیری فعال چگونه با رگرسیون خطی معمولی متفاوت است؟

رگرسیون خطی معمولی بر روی یک مجموعه داده برچسب‌دار که به صورت منفعل جمع‌آوری شده است، برازش داده می‌شود. یادگیری فعال رگرسیون خطی یک حلقه پرس‌وجو اضافه می‌کند: پس از هر برازش، مدل نقطه‌ای را که بیشترین عدم قطعیت را در مورد آن دارد انتخاب می‌کند، برچسب آن را درخواست می‌کند و دوباره برازش می‌دهد — تکرار تا زمانی که بودجه برچسب‌گذاری صرف شود.

کدام استراتژی پرس‌وجو بهترین کارایی را دارد؟

برای رگرسیون خطی، حداکثر کردن واریانس پیش‌بینی (معادل طراحی آزمایش D-optimal یا A-optimal) هم از نظر تئوری توجیه‌پذیر است و هم از نظر عملی مؤثر است. این روش نقطه‌ای را انتخاب می‌کند که بیشترین کاهش عدم قطعیت پارامتر را به همراه دارد.

آیا می‌توانم از این با رگرسیون منظم شده (Ridge, Lasso) استفاده کنم؟

بله. واریانس پیش‌بینی را می‌توان برای رگرسیون Ridge با یک تنظیم فرم بسته ساده محاسبه کرد. برای Lasso، عبارت واریانس کمتر سرراست است، بنابراین پزشکان اغلب از تخمین‌های عدم قطعیت مبتنی بر Bootstrap استفاده می‌کنند یا به فرمول‌بندی رگرسیون خطی بیزی روی می‌آورند.

آیا نمونه‌گیری فعال به خطاهای استاندارد ضرایب رگرسیون بایاس وارد می‌کند؟

بله. از آنجایی که نمونه برچسب‌دار به صورت IID از جمعیت استخراج نشده است، فرمول‌های استاندارد خطای استاندارد OLS بایاس دارند. راه‌حل‌ها شامل تخمین‌گرهای وزن‌دار با معکوس احتمال یا بازبرازش با یک نگه‌دار تصادفی که به صورت منفعل کشیده شده است، می‌باشد.

به چند نقطه بذر برای شروع نیاز دارم؟

حداقل به p + 1 نقطه برچسب‌دار برای برازش رگرسیون p پیش‌بینی‌کننده نیاز دارید، اما برای به دست آوردن یک تخمین واریانس اولیه پایدار، مجموعه بذری حداقل ۲p نقطه توصیه می‌شود. انتخاب تصادفی مجموعه بذر یک عمل استاندارد است.

روش‌های مرتبط

منابع

  1. Settles, B. (2012). Active Learning. Synthesis Lectures on Artificial Intelligence and Machine Learning, 6(1), 1–114. Morgan & Claypool.

    باز کردن مرجع DOI
    کپی شد.
  2. Cohn, D. A., Ghahramani, Z., & Jordan, M. I. (1996). Active learning with statistical models. Journal of Artificial Intelligence Research, 4, 129–145.

    باز کردن مرجع DOI
    کپی شد.