یادگیری فعال با انباشت یادگیرندهها
- معرفیشده توسط
- Wolpert, D. H. (stacking); Settles, B. (active learning survey)
- سال
- 1992–2012
- نوع
- Hybrid (active learning + stacked ensemble)
- خانواده
- Machine learning
این متن ترجمه ماشینی است و هنوز بازبینی نشده است. متن اصلی را به انگلیسی بخوانید
چه کاری انجام میدهد؟
یادگیری فعال با انباشت یادگیرندهها، یک حلقه پرسوجوی یادگیری فعال را با تعمیم انباشته ترکیب میکند: مجموعهای از دادههای بدون برچسب در دسترس است و مدل به طور تکراری آموزندهترین نمونهها را برای برچسبگذاری انسانی انتخاب میکند، با استفاده از آن برچسبها برای آموزش و اصلاح یک انباشت از یادگیرندههای پایه که توسط یک فرایادگیرنده هدایت میشود. این رویکرد هزینه حاشیهنویسی را کاهش میدهد و در عین حال قدرت پیشبینی انباشت را به حداکثر میرساند.
شهود پشت روش
برچسبگذاری دادهها پرهزینه است. یادگیری فعال میپرسد: کدام مثالهای بدون برچسب بیشترین آموزش را به مدل میدهند؟ با اندازهگیری عدم قطعیت یا اختلاف نظر در میان یادگیرندههای پایه یک انباشت یادگیرنده، سیستم میتواند حاشیهنویس انسانی را به سمت مثالهایی هدایت کند که انباشت در آنها بیشترین سردرگمی را دارد. هر نقطه جدید برچسبگذاری شده به خط لوله انباشت بازگردانده میشود و هم یادگیرندههای پایه و هم فرایادگیرنده را بهروز میکند. نتیجه یک انباشت قوی است که با برچسبهای بسیار کمتر از آنچه آموزش استاندارد نظارت شده نیاز دارد، ساخته شده است.
تاریخ
تعمیم انباشته توسط دیوید ولپرت در سال ۱۹۹۲ به عنوان راهی برای ترکیب یادگیرندههای پایه متنوع از طریق یک فرایادگیرنده معرفی شد. یادگیری فعال به عنوان یک چارچوب سیستماتیک برای انتخاب مثالهای آموزنده توسط بور ستلز در سال ۲۰۱۲ به طور جامع بررسی شد. ترکیب این دو — اعمال استراتژیهای پرسوجوی فعال بر معماریهای انباشت یا انباشت — در دهههای ۲۰۰۰ و ۲۰۱۰ ظهور کرد زیرا محققان به دنبال کاهش هزینههای حاشیهنویسی برای مدلهای پیچیده بودند و اکنون یک پارادایم تثبیت شده در یادگیری ماشین کممنبع و کارآمد از نظر حاشیهنویسی است.
چه زمانی استفاده شود
هنگامی که دادههای برچسبگذاری شده کمیاب یا به دست آوردن آنها پرهزینه است، یک استخر بزرگ از دادههای بدون برچسب در دسترس است و به دقت پیشبینی قوی نیاز دارید، از یادگیری فعال با انباشت یادگیرندهها استفاده کنید. این رویکرد به ویژه در حوزههایی مانند حاشیهنویسی پزشکی، طبقهبندی اسناد حقوقی و برچسبگذاری تصاویر علمی، که در آن زمان کارشناس محدود است، ارزشمند است. زمانی که همه دادهها را میتوان به راحتی برچسبگذاری کرد، از این رویکرد استفاده نکنید — انباشت استاندارد سادهتر و به همان اندازه مؤثر خواهد بود. از آن زمانی که استخر بدون برچسب کوچک است (انتخاب فعال مزیت کمی ارائه میدهد) یا زمانی که پیشبینیهای بیدرنگ در طول حلقه پرسوجو مورد نیاز است، اجتناب کنید، زیرا بازآموزی انباشت پس از هر پرسوجو از نظر محاسباتی پرهزینه است.
محدودیتها و ملاحظات
- بازآموزی کل انباشت یادگیرنده پس از هر پرسوجو برای مجموعههای بزرگ یادگیرنده پایه از نظر محاسباتی پرهزینه است.
- طراحی استراتژی پرسوجو غیربدیهی است: یک تابع اکتساب ضعیف ممکن است مثالهای تکراری یا غیر آموزنده را انتخاب کند.
- فرایادگیرنده به دادههای برچسبگذاری شده کافی برای یادگیری وزنهای ترکیبی قابل اعتماد نیاز دارد؛ با برچسبهای بسیار کم، فرایادها پرنویز هستند.
- تأخیر بازخورد از یک اوراکل انسانی میتواند حلقه تکراری را در عمل کند کند.
- عملکرد به شدت به تنوع یادگیرنده پایه و فرایادگیرنده انتخاب شده بستگی دارد.
شرایط منبع جایگزین بررسی علمی مستقل یا اعتبارسنجی توسط موتور تحلیل نیست.
نقاط قوت
- دقت پیشبینی بالا با مثالهای برچسبگذاری شده کمتر نسبت به انباشت نظارت شده منفعل به دست میآورد.
- تنوع انباشت از یادگیرندههای پایه متعدد، تخمینهای عدم قطعیت پرسوجو را قابل اعتمادتر میکند.
- فرایادگیرنده به طور انطباقی یادگیرندههای پایه را ترکیب میکند و سوگیری هر یادگیرنده پایه را تصحیح میکند.
- سازگار با تقریباً هر ترکیبی از یادگیرندههای پایه و فرایادگیرنده.
- بودجه حاشیهنویسی را به طور سیستماتیک کاهش میدهد و زمان کارشناس را کارآمدتر میکند.
کاربردها
- طبقهبندی تصاویر پزشکی یا سوابق بالینی با موارد حاشیهنویسی محدود.
- طبقهبندی اسناد حقوقی و نظارتی که در آن حاشیهنویسی تخصصی پرهزینه است.
- برچسبگذاری دادههای علمی در زیستشناسی، شیمی و سنجش از دور.
- تحلیل احساسات و طبقهبندی متن با دادههای برچسبگذاری شده خاص دامنه کمیاب.
- تشخیص تقلب که در آن برچسبهای حقیقت زمینی نیاز به بررسی دستی دارند.
- هر وظیفه پیشبینی جدولی با استخر بزرگ بدون برچسب و بودجه برچسبگذاری محدود.
چگونه کار میکند
چگونه کار میکند
مجموعه بذری کوچک از مثالهای برچسبگذاری شده برای تنظیم اولیه یادگیرندههای پایه در انباشت استفاده میشود. دادههای باقیمانده در یک استخر کاندیدا بدون برچسب باقی میمانند. این مجموعه بذر نقطه شروع برای تمام پرسوجوهای فعال بعدی را تعریف میکند.
یک تابع اکتساب — مانند عدم قطعیت پیشبینی، نمونهبرداری حاشیه، یا اختلاف نظر پرسوجو بر اساس کمیته در میان یادگیرندههای پایه — هر کاندیدای بدون برچسب را امتیازدهی میکند. نمونه با بالاترین امتیاز به عنوان آموزندهترین برای برچسبگذاری انتخاب میشود.
نمونه انتخاب شده به یک حاشیهنویس انسانی یا یک اوراکل خودکار ارائه میشود که برچسب واقعی آن را اختصاص میدهد. این مثال برچسبگذاری شده به مجموعه آموزش برای دور بعدی آموزش اضافه میشود.
با مجموعه برچسبگذاری شده بهروز شده، هر یادگیرنده پایه (مانند درخت تصمیم، SVM، رگرسیون لجستیک) دوباره آموزش داده میشود. پیشبینیهای خارج از تاش از یادگیرندههای پایه بر روی مجموعه آموزش، ماتریس فرایادگیری را تشکیل میدهند که برای آموزش فرایادگیرنده استفاده میشود.
یک فرایادگیرنده (معمولاً رگرسیون لجستیک یا یک مدل خطی) بر روی فرایادهای تولید شده توسط یادگیرندههای پایه آموزش داده میشود. این یاد میگیرد که چگونه پیشبینیهای آنها را به بهترین نحو ترکیب کند و خطاهای سیستماتیک هر یادگیرنده پایه را تصحیح کند.
مراحل ۲ تا ۵ برای بودجه ثابت پرسوجوها تکرار میشوند یا تا زمانی که عملکرد مدل بر روی یک مجموعه اعتبارسنجی نگهداشته شده ثابت شود. انباشت نهایی یادگیرنده، مدلی است که بر روی تمام دادههای برچسبگذاری شده انباشته شده آموزش دیده است.
دامهای رایج
- استفاده از تنها یک یادگیرنده پایه — این تنوع انباشت را که سیگنالهای پرسوجوی فعال را قابل اعتماد میسازد، از بین میبرد.
- پرسوجو در دستههای بزرگ بدون بازآموزی در این بین، که مزیت بازخورد افزایشی را هدر میدهد.
- ارزیابی فقط بر روی دادههای آموزش پس از هر دور به جای مجموعه اعتبارسنجی نگهداشته شده.
- نادیده گرفتن عدم تعادل کلاس هنگام انتخاب پرسوجوها، که میتواند باعث شود حلقه فعال کلاس اکثریت را بیش از حد نمونهبرداری کند.
- درهم آمیختن عملکرد مجموعه بذری برچسبگذاری شده با عملکرد نهایی مدل.
پرسشهای متداول
کدام استراتژی پرسوجو با انباشت یادگیرنده بهترین کارایی را دارد؟
پرسوجو بر اساس کمیته، که اختلاف نظر در میان یادگیرندههای پایه را اندازهگیری میکند، یک تناسب طبیعی است زیرا یادگیرندههای پایه در حال حاضر یک کمیته را تشکیل میدهند. نمونهبرداری عدم قطعیت بر روی خروجی فرایادگیرنده نیز رایج و پیادهسازی آن سادهتر است.
به چند مثال برچسبگذاری شده برای شروع نیاز دارم؟
یک مجموعه بذری حداقل شامل یک مثال نماینده برای هر کلاس مورد نیاز است؛ در عمل، ۱۰ تا ۵۰ مثال برچسبگذاری شده برای هر کلاس به یادگیرندههای پایه سیگنال کافی برای تولید تخمینهای عدم قطعیت معنیدار برای دور اول پرسوجو میدهد.
آیا بهتر است یک مثال در هر زمان پرسوجو شود یا به صورت دستهای؟
بهروزرسانیهای تک پرسوجویی حداکثر آموزندگی را به دست میآورند اما پس از هر برچسب نیاز به بازآموزی دارند که پرهزینه است. یادگیری فعال حالت دستهای، دستهای از پرسوجوهای متنوع را به یکباره انتخاب میکند و یک بار در هر دسته بازآموزی میکند، که مصالحهای عملی بین هزینه و کسب اطلاعات ارائه میدهد.
آیا میتوانم از یادگیرندههای عمیق به عنوان مدلهای پایه در انباشت استفاده کنم؟
بله، اما بازآموزی یادگیرندههای عمیق پس از هر دور پرسوجوی فعال بسیار پرهزینه است. یک مصالحه رایج این است که یادگیرندههای پایه را به صورت دورهای منجمد یا تنظیم دقیق کنید در حالی که حلقه پرسوجو را با فرایادگیرنده بیشتر اجرا میکنید.
چگونه میفهمم چه زمانی باید پرسوجو را متوقف کنم؟
زمانی که عملکرد اعتبارسنجی در چندین دور ثابت شد، زمانی که بودجه برچسبگذاری تمام شد، یا زمانی که تابع اکتساب امتیازات آموزندگی یکنواخت پایین را به تمام کاندیداهای باقیمانده اختصاص میدهد — نشان میدهد که مدل بیشتر آنچه را که استخر میتواند ارائه دهد، آموخته است، متوقف شوید.
روشهای مرتبط
منابع
Wolpert, D. H. (1992). Stacked generalization. Neural Networks, 5(2), 241–259.
باز کردن مرجع DOIکپی شد.Settles, B. (2012). Active Learning. Synthesis Lectures on Artificial Intelligence and Machine Learning. Morgan & Claypool Publishers.
باز کردن مرجع DOIکپی شد.