Skip to content
بازگشت به نتایج جست‌وجو

یادگیری فعال فرایند گوسی (GP-AL)

معرفی‌شده توسط
MacKay, D. J. C.
سال
1992
نوع
Bayesian active learning
خانواده
Machine learning

این متن ترجمه ماشینی است و هنوز بازبینی نشده است. متن اصلی را به انگلیسی بخوانید

اندازه قلم

چه کاری انجام می‌دهد؟

یادگیری فعال فرایند گوسی (GP-AL) یک مدل احتمالی فرایند گوسی را با یک استراتژی پرس‌وجوی یادگیری فعال ترکیب می‌کند و از عدم قطعیت پسین GP برای انتخاب آموزنده‌ترین نمونه‌های بدون برچسب برای برچسب‌گذاری استفاده می‌نماید. این رویکرد تکراری، تلاش برچسب‌گذاری را به حداقل رسانده و در عین حال دقت پیش‌بینی را به حداکثر می‌رساند، که آن را در مواردی که داده‌های برچسب‌دار کمیاب یا به‌دست‌آوردن آن‌ها پرهزینه است، ایده‌آل می‌سازد.

شهود پشت روش

یک فرایند گوسی نه تنها یک مقدار، بلکه میزان اطمینان خود را نیز پیش‌بینی می‌کند. یادگیری فعال از این ویژگی بهره می‌برد: به جای برچسب‌گذاری تصادفی داده‌ها، الگوریتم تمام نقاط بدون برچسب را بررسی کرده و از یک انسان (یا اوراکل) می‌خواهد که تنها نقطه‌ای را برچسب‌گذاری کند که GP در مورد آن بیشترین عدم قطعیت را دارد. پس از برچسب‌گذاری، GP باورهای خود را به‌روزرسانی کرده و چرخه تکرار می‌شود. این رویکرد هدفمند، برچسب‌های آموزنده را بسیار کارآمدتر از نمونه‌برداری تصادفی یا منفعل به دست می‌آورد و اغلب با کسری از داده‌های برچسب‌دار به عملکرد قوی مدل دست می‌یابد.

تاریخ

ایده استفاده از معیارهای اطلاعاتی برای انتخاب نقاط آموزشی برای یک مدل احتمالی توسط MacKay (1992) رسمی شد، که نشان داد حداکثر کردن بهره اطلاعاتی از یک اوراکل معادل انتخاب نقاط با واریانس بالا تحت یک مدل بیزی است. فرایندهای گوسی به دلیل ارائه توزیع‌های پسین دقیق، تناسب طبیعی پیدا کردند. این حوزه در دهه 2000 با کار Lawrence، Settles (2012) و جامعه بهینه‌سازی بیزی، که از همان چارچوب تابع GP به علاوه اکتساب برای جستجوی ابرپارامترها مجدداً استفاده می‌کند، بالغ شد.

چه زمانی استفاده شود

زمانی از GP-AL استفاده کنید که داده‌های برچسب‌دار کمیاب یا به‌دست‌آوردن آن‌ها پرهزینه است — در آزمایش‌های علمی، مطالعات پزشکی، یا تست‌های صنعتی — و زمانی که به تخمین‌های عدم قطعیت کالیبره شده در کنار پیش‌بینی‌ها نیاز دارید. این روش در فضاهای ورودی پیوسته با ابعاد کم تا متوسط با توابع هموار یا نسبتاً غیرخطی، و در تنظیماتی با مجموعه داده‌های کوچک تا متوسط (تا چند هزار نقطه) عالی عمل می‌کند. زمانی که فضای ورودی بسیار پربعد است (هسته‌های GP به‌خوبی مقیاس‌بندی نمی‌شوند)، زمانی که مجموعه داده از قبل بزرگ است (استنتاج GP دارای پیچیدگی O(n^3) است)، یا زمانی که هزینه برچسب‌گذاری اوراکل ناچیز است و نمونه‌برداری تصادفی کافی است، از آن استفاده نکنید.

محدودیت‌ها و ملاحظات

  • پیچیدگی محاسباتی مکعبی O(n^3) بر حسب تعداد نقاط برچسب‌دار، مقیاس‌بندی به هزاران مشاهده را بدون تقریب‌های پراکنده یا نقاط القایی پرهزینه می‌سازد.
  • عملکرد در فضاهای ورودی با ابعاد بالا کاهش می‌یابد زیرا هسته‌های GP در ثبت کارآمد ساختار مشکل دارند.
  • فرض می‌کند که اوراکل همیشه در دسترس است و می‌تواند هر نقطه پرس‌وجو شده را بدون خطا یا تأخیر برچسب‌گذاری کند.
  • انتخاب هسته غیربدیهی است؛ یک هسته نادرست مشخص شده می‌تواند منجر به عدم قطعیت ضعیف کالیبره شده و پرس‌وجوهای نامطلوب شود.

شرایط منبع جایگزین بررسی علمی مستقل یا اعتبارسنجی توسط موتور تحلیل نیست.

نقاط قوت

  • کمی‌سازی عدم قطعیت اصولی: پسین GP مستقیماً استراتژی پرس‌وجو را بدون اکتشافی هدایت می‌کند.
  • کارایی چشمگیر برچسب — دستیابی به دقت قابل مقایسه با مدل‌های آموزش‌دیده منفعل با مثال‌های برچسب‌دار بسیار کمتر.
  • انتخاب انعطاف‌پذیر هسته به متخصصان اجازه می‌دهد تا دانش دامنه در مورد همواری تابع را کدگذاری کنند.
  • بازه اطمینان کالیبره شده را در کنار پیش‌بینی‌ها ارائه می‌دهد و از تصمیم‌گیری‌های پایین‌دستی پشتیبانی می‌کند.
  • مجموعه داده‌های کوچک تا متوسط را به‌خوبی مدیریت می‌کند، جایی که رویکردهای یادگیری عمیق معمولاً عملکرد ضعیفی دارند.
  • حلقه یادگیری فعال قابل تفسیر است: هر پرس‌وجو با یک امتیاز عدم قطعیت قابل اندازه‌گیری توجیه می‌شود.

کاربردها

  • کشف دارو و علم مواد، جایی که هر آزمایش پرهزینه است و سطح ورودی-خروجی ناشناخته است.
  • حاشیه‌نویسی تصویربرداری پزشکی، انتخاب مبهم‌ترین اسکن‌ها برای بررسی رادیولوژیست.
  • رباتیک و سیستم‌های خودکار برای یادگیری کارآمد سیاست‌های کنترلی از بازخورد حسگر پراکنده.
  • پایش محیطی، هدایت حسگرها به مکان‌هایی با حداکثر عدم قطعیت مکانی.
  • بهینه‌سازی ابرپارامتر (بهینه‌سازی بیزی)، جایی که GP سطح خطا را مدل‌سازی می‌کند و پرس‌وجوی فعال، پیکربندی بعدی را برای ارزیابی انتخاب می‌کند.

چگونه کار می‌کند

چگونه کار می‌کند

1

با یک مجموعه کوچک اولیه از داده‌های برچسب‌دار شروع کنید و یک هسته GP (مانند نمایی مربعی، Matern) و مدل نویز را مشخص نمایید. هسته، مفروضات پیشین در مورد همواری و مقیاس طول تابع در حال یادگیری را کدگذاری می‌کند.

2

GP را بر روی مجموعه برچسب‌دار فعلی برازش دهید. GP یک توزیع پیش‌بینی پسین بر روی فضای خروجی را برمی‌گرداند — یک میانگین پیش‌بینی و یک واریانس (عدم قطعیت) برای هر نقطه، از جمله تمام کاندیداهای بدون برچسب.

فرمول
p(f^* | X, y, x^*) = \mathcal{N}(\mu^*, \sigma^{*2})
3

یک تابع اکتساب — که معمولاً حداکثر واریانس پیش‌بینی، اما همچنین آنتروپی یا بهبود مورد انتظار است — را برای رتبه‌بندی نقاط بدون برچسب اعمال کنید. نقطه‌ای که بالاترین امتیاز را دارد برای برچسب‌گذاری انتخاب می‌شود زیرا بیشترین اطلاعات را برای کاهش عدم قطعیت مدل حمل می‌کند.

فرمول
x^* = \arg\max_{x \in \mathcal{U}} \sigma^2(x)
4

نقطه انتخاب شده را به یک اوراکل (حاشیه‌نویس انسانی، آزمایش، یا حسگر خودکار) برای برچسب‌گذاری ارائه دهید. برچسب واقعی به دست آمده و به مجموعه داده‌های برچسب‌دار در حال رشد اضافه می‌شود.

5

GP را با گنجاندن نقطه جدید برچسب‌دار شده، دوباره برازش دهید. از آنجایی که GPها از به‌روزرسانی‌های دقیق بیزی پشتیبانی می‌کنند، پسین برای بازتاب مشاهده جدید جابجا شده، عدم قطعیت را در نزدیکی آن نقطه کاهش داده و به‌طور بالقوه آن را در جاهای دیگر تغییر شکل می‌دهد.

6

چرخه اکتساب-پرس‌وجو-به‌روزرسانی را تکرار کنید تا زمانی که بودجه (تعداد برچسب‌ها، زمان محاسباتی، یا یک آستانه دقت هدف) برآورده شود. در پایان، GP نهایی برای پیش‌بینی بر روی داده‌های آزمون جدید استفاده می‌شود.

دام‌های رایج

  • استفاده از هسته پیش‌فرض RBF بدون تأیید اینکه آیا تابع واقعاً هموار است — مفروضات همواری نادرست مشخص شده، تخمین‌های عدم قطعیت و انتخاب پرس‌وجو را تحریف می‌کند.
  • نادیده گرفتن استراتژی مقداردهی اولیه: یک مجموعه برچسب‌دار اولیه ضعیف (مثلاً همه از یک ناحیه باریک) مدل را سوگیر کرده و اکتشاف را به تأخیر می‌اندازد.
  • فراموش کردن نرمال‌سازی ورودی‌ها و خروجی‌ها؛ GPها به مقیاس حساس هستند و داده‌های نرمال‌سازی نشده می‌توانند باعث ناپایداری عددی در ماتریس کوواریانس شوند.
  • رفتار امتیاز اکتساب به عنوان یک معیار مطلق اهمیت به جای یک رتبه‌بندی نسبی در میان مجموعه بدون برچسب فعلی.
  • اعمال GP-AL بر روی مجموعه داده‌هایی با هزاران مثال بدون تقریب GP پراکنده، منجر به زمان اجرای غیرقابل تحمل می‌شود.

پرسش‌های متداول

GP-AL چگونه با رگرسیون استاندارد فرایند گوسی تفاوت دارد؟

رگرسیون استاندارد فرایند گوسی به‌طور منفعل هر داده برچسب‌دار ارائه شده را برازش می‌دهد. GP-AL یک حلقه خارجی اضافه می‌کند که به‌طور فعال انتخاب می‌کند کدام نقاط بدون برچسب بعدی برچسب‌گذاری شوند، که توسط عدم قطعیت GP هدایت می‌شود، بنابراین مدل به ازای هر برچسب به‌دست‌آمده بیشتر یاد می‌گیرد.

از کدام تابع اکتساب باید استفاده کنم؟

حداکثر واریانس پیش‌بینی ساده‌ترین و رایج‌ترین انتخاب است و برای اکتشاف خالص به‌خوبی عمل می‌کند. معیارهای بهبود مورد انتظار یا مبتنی بر آنتروپی زمانی که یک مقدار هدف خاص یا مرز طبقه‌بندی برای یافتن وجود دارد، ارجحیت دارند.

برای شروع به چند نقطه برچسب‌دار اولیه نیاز دارم؟

تعداد کمی — اغلب 5 تا 20 — که برای پوشش فضای ورودی انتخاب شده‌اند (مثلاً از طریق هایپرکوب لاتین یا طرح پرکننده فضا) برای مقداردهی اولیه GP و تولید تخمین‌های عدم قطعیت معنی‌دار برای اولین دور پرس‌وجو کافی است.

آیا این روش برای وظایف طبقه‌بندی کار می‌کند؟

بله، با استفاده از طبقه‌بندی GP (با تابع پیوند پروبیت یا لجستیک). کمی‌سازی عدم قطعیت نیاز به استنتاج تقریبی دارد (مانند تقریب لاپلاس یا انتشار انتظار)، که آن را کمی پیچیده‌تر از حالت رگرسیون می‌کند.

چه زمانی جنگل‌های تصادفی یا شبکه‌های عصبی را به GP-AL ترجیح دهم؟

زمانی که مجموعه داده بزرگ است (هزاران یا بیشتر مثال برچسب‌دار) یا پربعد (ویژگی‌های ورودی زیاد)، زیرا هزینه محاسباتی GP و بیانگری هسته محدود کننده می‌شوند. شبکه‌های عصبی با dropout مونت کارلو می‌توانند به عنوان جایگزین‌های مقیاس‌پذیر برای یادگیری فعال در آن رژیم‌ها عمل کنند.

روش‌های مرتبط

منابع

  1. MacKay, D. J. C. (1992). Information-based objective functions for active data selection. Neural Computation, 4(4), 590–604.

    باز کردن مرجع DOI
    کپی شد.
  2. Settles, B. (2012). Active Learning. Synthesis Lectures on Artificial Intelligence and Machine Learning. Morgan & Claypool.

    باز کردن مرجع انتشار
    کپی شد.