Skip to content
بازگشت به نتایج جست‌وجو

یادگیری فعال

معرفی‌شده توسط
Burr Settles
سال
2009
نوع
Interactive supervised learning framework
خانواده
Interactive ML

این متن ترجمه ماشینی است و هنوز بازبینی نشده است. متن اصلی را به انگلیسی بخوانید

اندازه قلم

چه کاری انجام می‌دهد؟

یادگیری فعال یک پارادایم تکرارشونده یادگیری ماشین است که در آن یک الگوریتم یادگیری به طور انتخابی از یک اوراکل – معمولاً یک حاشیه‌نویس انسانی – برای برچسب‌گذاری آموزنده‌ترین نمونه‌های بدون برچسب، پرس‌وجو می‌کند. یادگیری فعال که توسط بور ستلز در بررسی ادبیات مهم سال ۲۰۰۹ او به صورت رسمی تدوین شد، با دستیابی به دقت بالای مدل با تعداد بسیار کمتری از نمونه‌های برچسب‌دار نسبت به آنچه یادگیری نظارت‌شده منفعل نیاز دارد، به گلوگاه عملی هزینه حاشیه‌نویسی می‌پردازد.

شهود پشت روش

یک دانشجوی پزشکی را تصور کنید که به جای حفظ کردن تمام صفحات کتاب درسی، فقط در مورد چالش‌برانگیزترین موارد از پزشک معالج سؤال می‌کند. دانشجو با تمرکز بر عدم قطعیت، سریع‌تر یاد می‌گیرد تا اینکه نمونه‌هایی را که از قبل درک کرده است، مرور کند. یادگیری فعال به همین ترتیب عمل می‌کند: مدل نمونه‌هایی را که بیشترین سردرگمی را در مورد آن‌ها دارد، شناسایی می‌کند، برچسب‌های انسانی را برای آن نمونه‌های خاص درخواست می‌کند و خود را به‌روز می‌کند – این چرخه را تکرار می‌کند تا زمانی که عملکرد رضایت‌بخش شود.

تاریخ

مفهوم پرس‌وجوی انتخابی نمونه‌های آموزشی آموزنده به طراحی آزمایشی بهینه فدوروف (۱۹۷۲) و یادگیری پرس‌وجو کوهن و همکاران (۱۹۹۴) بازمی‌گردد. این حوزه به طور قابل توجهی توسط گزارش فنی بور ستلز در سال ۲۰۰۹ یکپارچه و محبوب شد، که استراتژی‌های پرس‌وجو، حدود نظری و کاربردها در NLP، بیوانفورماتیک و بینایی کامپیوتر را فهرست کرد. یادگیری فعال عمیق پس از سال ۲۰۱۶ پدیدار شد زیرا شبکه‌های عصبی به کلاس مدل غالب تبدیل شدند و تکنیک‌های جدید تخمین عدم قطعیت را برانگیختند.

چه زمانی استفاده شود

یادگیری فعال زمانی بیشترین سود را دارد که داده‌های بدون برچسب فراوان باشند اما حاشیه‌نویسی توسط متخصص پرهزینه، کند یا کمیاب باشد – که در تصویربرداری پزشکی، طبقه‌بندی اسناد حقوقی، سازماندهی داده‌های علمی و پردازش زبان طبیعی رایج است. این روش فرض می‌کند که اوراکل در دسترس است و استراتژی پرس‌وجو می‌تواند نمونه‌های آموزنده را به طور معنی‌داری شناسایی کند. این روش زمانی کمتر مناسب است که هزینه حاشیه‌نویسی ناچیز باشد، مجموعه بدون برچسب کوچک باشد، یا توزیع وظیفه بین پرس‌وجوها به طور قابل توجهی تغییر کند. جایگزین‌ها شامل یادگیری نیمه‌نظارت‌شده (زمانی که برچسب‌ها را نمی‌توان به صورت تعاملی به دست آورد) و خودآموزی (زمانی که پرس‌وجوهای اوراکل امکان‌پذیر نیستند) است.

محدودیت‌ها و ملاحظات

  • استراتژی‌های پرس‌وجو می‌توانند سوگیری نمونه‌گیری ایجاد کنند و باعث شوند مجموعه برچسب‌دار نماینده توزیع واقعی داده‌ها نباشد.
  • افزایش عملکرد به شدت به انتخاب استراتژی پرس‌وجو بستگی دارد که وابسته به وظیفه و مدل است.
  • بازآموزی مدل پس از هر پرس‌وجو برای شبکه‌های عصبی بزرگ از نظر محاسباتی پرهزینه است.
  • نویز اوراکل (اختلاف نظر یا خطاهای حاشیه‌نویس) در صورت عدم مدل‌سازی صریح می‌تواند عملکرد را کاهش دهد.

شرایط منبع جایگزین بررسی علمی مستقل یا اعتبارسنجی توسط موتور تحلیل نیست.

نقاط قوت

  • با تمرکز تلاش حاشیه‌نویسی بر آموزنده‌ترین نمونه‌ها، هزینه برچسب‌گذاری را به شدت کاهش می‌دهد.
  • قابل اعمال بر روی هر یادگیرنده نظارت‌شده – طبقه‌بندی، رگرسیون، پیش‌بینی ساختاریافته – بدون تغییر معماری مدل پایه.
  • مبنای نظری: نمونه‌گیری عدم قطعیت و پرس‌وجو بر اساس کمیته دارای توجیهات PAC-learning و بیزی است.
  • سازگار با گردش کارهای جمع‌سپاری و پلتفرم‌های حاشیه‌نویسی مدرن.

کاربردها

  • حاشیه‌نویسی تصویر پزشکی (رادیولوژی، پاتولوژی) که در آن برچسب‌گذاری توسط متخصص پرهزینه و کمیاب است.
  • تشخیص موجودیت نام‌گذاری شده و استخراج رابطه در NLP، کاهش نیاز به مجموعه داده‌های دست‌نویس.
  • کشف دارو: انتخاب کاندیداهای مولکولی برای سنتز و سنجش.
  • طبقه‌بندی سنجش از دور و تصاویر ماهواره‌ای با برچسب‌های حقیقت زمینی محدود.
  • رانندگی خودکار: اولویت‌بندی حاشیه‌نویسی سناریوهای رانندگی نادر یا حیاتی برای ایمنی.

چگونه کار می‌کند

چگونه کار می‌کند

1

فرآیند با یک مجموعه بزرگ از نمونه‌های بدون برچسب U و یک مجموعه برچسب‌دار L که در ابتدا خالی است، آغاز می‌شود. یک مدل پایه ممکن است بر روی هر داده اولیه برچسب‌دار موجود از پیش آموزش داده شود یا به صورت تصادفی مقداردهی اولیه شود. این جداسازی داده‌های برچسب‌دار و بدون برچسب، فرض ساختاری تعریف‌کننده یادگیری فعال مبتنی بر مجموعه است.

فرمول
\mathcal{U} = \{\mathbf{x}_1, \mathbf{x}_2, \ldots, \mathbf{x}_n\}, \quad \mathcal{L} = \emptyset
2

در هر تکرار، یادگیرنده هر نمونه بدون برچسب را بر اساس معیاری از آموزندگی امتیازدهی می‌کند – در اینجا، نمونه‌گیری عدم قطعیت، نمونه‌ای را انتخاب می‌کند که احتمال پسین کلاس حداکثر آن کمترین باشد، که نشان‌دهنده حداکثر عدم قطعیت مدل است. معیارهای جایگزین شامل اختلاف نظر در پرس‌وجو بر اساس کمیته و تغییر مورد انتظار مدل است.

فرمول
\mathbf{x}^* = \arg\max_{\mathbf{x} \in \mathcal{U}} \phi(\mathbf{x}; \theta), \quad \phi(\mathbf{x}) = 1 - \max_{y} P_\theta(y \mid \mathbf{x})
3

نمونه انتخاب شده x* به یک اوراکل (متخصص انسانی، پلتفرم جمع‌سپاری، یا حاشیه‌نویس خودکار) ارائه می‌شود که یک برچسب y* ارائه می‌دهد. جفت برچسب‌دار جدید از U به L منتقل می‌شود و شمارنده بودجه پرس‌وجو کاهش می‌یابد. هزینه اوراکل معمولاً به ازای هر پرس‌وجو یکسان در نظر گرفته می‌شود.

فرمول
y^* = \mathcal{O}(\mathbf{x}^*), \quad \mathcal{L} \leftarrow \mathcal{L} \cup \{(\mathbf{x}^*, y^*)\}, \quad \mathcal{U} \leftarrow \mathcal{U} \setminus \{\mathbf{x}^*\}
4

پارامترهای مدل بر روی مجموعه برچسب‌دار فعلی L با کمینه‌سازی یک زیان تجربی دوباره آموزش داده می‌شوند (یا تنظیم دقیق می‌شوند). سپس مدل به‌روز شده، مجموعه باقی‌مانده را دوباره امتیازدهی می‌کند و چرخه پرس‌وجو-انتخاب-برچسب-بازآموزی تکرار می‌شود تا زمانی که بودجه تمام شود یا یک آستانه دقت هدف برآورده شود.

فرمول
\theta^* = \arg\min_\theta \frac{1}{|\mathcal{L}|} \sum_{(\mathbf{x},y) \in \mathcal{L}} \mathcal{L}_{\text{loss}}(f_\theta(\mathbf{x}), y)

دام‌های رایج

  • مشکل شروع سرد: با تعداد بسیار کمی از برچسب‌های اولیه، تخمین‌های عدم قطعیت قابل اعتماد نیستند و منجر به پرس‌وجوهای اولیه ضعیف می‌شوند.
  • یادگیری فعال حالت دسته‌ای ممکن است نمونه‌های تکراری را انتخاب کند اگر همبستگی‌های بین پرس‌وجوها نادیده گرفته شوند.
  • اعمال یادگیری فعال بر روی شبکه‌های عصبی عمیق با عدم قطعیت مبتنی بر dropout (مانند MC Dropout) می‌تواند عدم قطعیت را در مناطق خارج از توزیع دست‌کم بگیرد.
  • مقایسه اجرای یادگیری فعال در میان بذرهای مختلف یا بودجه‌های پرس‌وجو بدون فواصل اطمینان، منجر به نتیجه‌گیری گمراه‌کننده در مورد برتری استراتژی می‌شود.

پرسش‌های متداول

یادگیری فعال چگونه با یادگیری نیمه‌نظارت‌شده متفاوت است؟

یادگیری نیمه‌نظارت‌شده از ساختار داده‌های بدون برچسب (مانند خوشه‌بندی، مفروضات منیفولد) بدون پرس‌وجو از اوراکل بهره می‌برد و مدل را با استفاده از برچسب‌های کاذب یا تنظیم سازگاری به‌روز می‌کند. یادگیری فعال به صراحت برچسب‌های واقعی را از اوراکل برای نمونه‌های انتخاب شده درخواست می‌کند. این دو رویکرد مکمل یکدیگر هستند و می‌توانند ترکیب شوند.

کدام استراتژی پرس‌وجو را باید در عمل استفاده کنم؟

نمونه‌گیری عدم قطعیت پرکاربردترین خط پایه است و برای طبقه‌بندهای دودویی و چند کلاسه به خوبی کار می‌کند. پرس‌وجو بر اساس کمیته زمانی ارجح است که یک مجموعه از پیش موجود باشد. تغییر مورد انتظار مدل یا BALD (یادگیری فعال بیزی بر اساس اختلاف نظر) تمایل به عملکرد بهتر برای مدل‌های عمیق دارند اما از نظر محاسباتی سنگین‌تر هستند. با نمونه‌گیری عدم قطعیت شروع کنید و با جایگزین‌ها مقایسه کنید.

آیا یادگیری فعال را می‌توان برای وظایف رگرسیون اعمال کرد؟

بله. برای رگرسیون، آموزندگی معمولاً با واریانس پیش‌بینی (مثلاً از یک فرآیند گاوسی یا مجموعه) به جای آنتروپی احتمال کلاس اندازه‌گیری می‌شود. یادگیرنده نقاطی را که واریانس در آن‌ها بالاتر است، پرس‌وجو می‌کند. این یک عمل استاندارد در بهینه‌سازی بیزی و طراحی آزمایش مبتنی بر مدل جایگزین است.

روش‌های مرتبط

منابع

  1. Settles, B. (2009). Active learning literature survey. University of Wisconsin-Madison Computer Sciences Technical Report 1648.

    باز کردن مرجع انتشار
    کپی شد.