تقویت گرادیان نیمهنظارتی
- معرفیشده توسط
- Chapelle, Scholkopf & Zien (eds.); applied to GBM variants in subsequent literature
- سال
- 2006–2010s
- نوع
- Semi-supervised ensemble (self-training + gradient boosted trees)
- خانواده
- Machine learning
این متن ترجمه ماشینی است و هنوز بازبینی نشده است. متن اصلی را به انگلیسی بخوانید
چه کاری انجام میدهد؟
تقویت گرادیان نیمهنظارتی، درختان تقویتشده با گرادیان را با خودآموزی یا برچسبزنی کاذب ترکیب میکند تا از مجموعههای بزرگ داده بدون برچسب در کنار مجموعهای کوچک از دادههای برچسبدار بهره ببرد. یک برازش اولیه GBM بر روی دادههای برچسبدار، پیشبینیهای مطمئن را به نمونههای بدون برچسب اختصاص میدهد؛ آن نقاط برچسبزنی کاذب دوباره به آموزش اضافه شده و مدل دوباره تقویت میشود و تا همگرایی تکرار میشود. این امر به متخصصان اجازه میدهد تا در صورت کمیاب یا گران بودن برچسبها، از دادههای ارزان بدون برچسب بهرهمند شوند.
شهود پشت روش
تصور کنید ۲۰٠ پاسخ نظرسنجی برچسبدار و ۱٠,٠٠٠ پاسخ بدون برچسب دارید. یک مدل تقویت گرادیان که فقط بر روی ۲۰٠ مثال برچسبدار آموزش دیده است، از قبل نسبتاً خوب است. تقویت گرادیان نیمهنظارتی از آن مدل برای طبقهبندی پاسخهای بدون برچسب که به آنها اطمینان دارد استفاده میکند، آنها را به طور موقت برچسبزنی میکند، سپس بر روی مجموعه ترکیبی بسیار بزرگتر دوباره آموزش میدهد. چرخه تکرار میشود: در هر دور، مدل بهبود مییابد زیرا مثالهای بیشتری را میبیند و پیشبینیهای بهتر به برچسبهای کاذب با کیفیت بالاتر برای دور بعدی ترجمه میشوند. اکثریت بدون برچسب به طور مؤثری به عنوان یک تنظیمکننده رایگان و دستگاه افزایش داده عمل میکنند.
تاریخ
یادگیری نیمهنظارتی در جلد ۲۰۰۶ انتشارات MIT Press اثر Chapelle، Scholkopf و Zien سیستمبندی شد. نوع خودآموزی / برچسبزنی کاذب به Yarowsky (۱۹۹۵) در NLP بازمیگردد و بعداً توسط Lee (۲۰۱۳) در زمینه شبکههای عمیق فرمولبندی شد، اما همین اصل مستقیماً برای درختان تقویتشده با گرادیان اعمال میشود. CatBoost (Prokhorenkova و همکاران، ۲۰۱۸) افزونههای نیمهنظارتی داخلی را معرفی کرد؛ کارهای بعدی به بررسی برنامههای برچسبزنی کاذب و کالیبراسیون اطمینان به طور خاص برای GBMها در زمینههای پزشکی زیستی و صنعتی در طول دهههای ۲۰۱۰ و ۲۰۲۰ پرداختند.
چه زمانی استفاده شود
هنگامی از تقویت گرادیان نیمهنظارتی استفاده کنید که دادههای برچسبدار کمیاب هستند (به عنوان مثال، کمتر از چند صد مثال) اما مقادیر زیادی داده بدون برچسب از توزیع مشابه در دسترس هستند و جمعآوری برچسبهای اضافی پرهزینه است. این روش برای وظایف طبقهبندی و رگرسیون جدولی که در آن یک مدل تقویتشده با گرادیان به تنهایی بر روی مجموعه برچسبدار عملکرد خوبی دارد، مناسب است. از آن اجتناب کنید زمانی که: دادههای برچسبدار و بدون برچسب از توزیعهای متفاوتی میآیند (تغییر توزیع خطا را تشدید میکند)؛ دقت مدل پایه بر روی دادههای برچسبدار بسیار پایین است (برچسبهای کاذب ضعیف، بازآموزی را فاسد میکنند)؛ یا مجموعه برچسبدار به اندازه کافی بزرگ است که یک GBM استاندارد را اشباع کند، در این صورت سربار نیمهنظارتی مزایای ناچیزی دارد.
محدودیتها و ملاحظات
- کیفیت برچسب کاذب به مدل پایه بستگی دارد؛ یک مدل اولیه ضعیف میتواند تکرارهای بعدی را فاسد کند.
- فرض میکند دادههای برچسبدار و بدون برچسب از یک توزیع استخراج شدهاند — نقض این امر باعث تشدید خطا میشود.
- تنظیم آستانه (tau) یک ابرپارامتر را بدون مقدار پیشفرض اصولی اضافه میکند.
- هزینه محاسباتی با هر تکرار خودآموزی، به ویژه در استخرهای بزرگ بدون برچسب، افزایش مییابد.
- اعتبارسنجی باید فقط بر روی دادههای برچسبدار انجام شود؛ اعتبارسنجی متقابل استاندارد بر روی مجموعه افزوده شده، تخمینها را متورم میکند.
شرایط منبع جایگزین بررسی علمی مستقل یا اعتبارسنجی توسط موتور تحلیل نیست.
نقاط قوت
- از دادههای بدون برچسب ارزان برای بهبود عملکرد در زمانی که برچسبها گران یا کمیاب هستند، بهره میبرد.
- سازگار با هر پیادهسازی تقویت گرادیان (XGBoost، LightGBM، CatBoost، scikit-learn) بدون تغییرات معماری.
- آستانهگذاری اطمینان یک دروازه کیفیت داخلی فراهم میکند که نویز برچسب کاذب را محدود میکند.
- قدرت پیشبینی کامل و مدلسازی تعامل ویژگی درختان تقویتشده با گرادیان را حفظ میکند.
- اصلاح تکراری اجازه ادغام تدریجی دادههای بدون برچسب را با بهبود مدل میدهد.
کاربردها
- تشخیص پزشکی که در آن سوابق بیمار برچسبدار محدود است اما یادداشتهای بالینی بدون برچسب فراوان هستند.
- تشخیص نقص صنعتی با استفاده از مجموعهای کوچک از مثالهای نقص برچسبدار و جریانی بزرگ از تولید بدون برچسب.
- طبقهبندی متن و تحلیل احساسات با مثالهای اولیه برچسبدار که توسط پیکرههای بدون برچسب افزایش یافتهاند.
- امتیازدهی اعتباری زمانی که تنها کسری از درخواستهای تاریخی دارای نتایج پیشفرض تأیید شده هستند.
- سنجش از دور و طبقهبندی جغرافیایی-مکانی که ترکیبی از اندازهگیریهای میدانی برچسبدار کم با ویژگیهای تصویر ماهوارهای بدون برچسب زیاد است.
چگونه کار میکند
چگونه کار میکند
یک مدل تقویت گرادیان استاندارد (XGBoost، LightGBM، CatBoost، scikit-learn GBM و غیره) با استفاده از حداقلسازی زیان نظارتی استاندارد بر روی مثالهای برچسبدار موجود آموزش داده میشود. این مدل پایه باید حداقل دقت متوسطی داشته باشد تا برچسبزنی کاذب به جای آسیب رساندن، کمک کند.
مدل پایه بر روی هر مثال بدون برچسب اعمال میشود. پیشبینیهایی که از یک آستانه اطمینان tau (به عنوان مثال، احتمال پیشبینی شده بالاتر از ۰.۹ برای طبقهبندی، یا پیشبینیها در یک بازه تنگ برای رگرسیون) فراتر میروند، به عنوان برچسب کاذب پذیرفته میشوند. فیلتر کردن با اطمینان بالا، انتشار خطا را در دورهای اولیه محدود میکند.
فرمول
\hat{y}_u = f^{(t)}(x_u),\; \text{confidence} \geq \tauمثالهای برچسبزنی کاذب پذیرفته شده به مجموعه آموزش برچسبدار اضافه میشوند، که به طور اختیاری با وزنی کمتر از ۱.۰ برای نشان دادن منشأ نامشخص آنها وزندهی میشوند. مجموعه ترکیبی اکنون به طور قابل توجهی بزرگتر است و ممکن است فضای ویژگی را بهتر پوشش دهد.
یک مدل تقویت گرادیان جدید از ابتدا (یا با شروع گرم) بر روی مجموعه داده افزوده شده آموزش داده میشود. از آنجایی که تقویت گرادیان ذاتاً متوالی و حساس به نویز برچسب است، نظارت بر زیان اعتبارسنجی بر روی مجموعه برچسبدار نگهداشته شده برای تشخیص تخریب ناشی از برچسبهای کاذب نویزی ضروری است.
مراحل ۲ تا ۴ برای تعداد ثابتی از دورها یا تا همگرایی، که به عنوان تغییر ناچیز در معیار اعتبارسنجی یا عدم عبور مثالهای بدون برچسب جدید از آستانه اطمینان تعریف میشود، تکرار میشوند. در هر دور، آستانه اطمینان ممکن است به تدریج شل شود تا دادههای برچسبزنی کاذب بیشتری گنجانده شود.
دامهای رایج
- استفاده از دادههای برچسبزنی کاذب در پوشش اعتبارسنجی، که تخمین عملکرد خوشبینانه و متورم شدهای را ارائه میدهد.
- تنظیم آستانه اطمینان خیلی پایین در دورهای اولیه، که باعث هجوم برچسبهای نویزی به بازآموزی و انتقال منفی میشود.
- نادیده گرفتن تغییر توزیع بین دادههای برچسبدار و بدون برچسب، که میتواند عملکرد را به زیر خط پایه نظارتی کاهش دهد.
- وزندهی نکردن به مثالهای برچسبزنی کاذب کمتر از ۱.۰، که به پیشبینیهای نامطمئن جایگاه برابر با برچسبهای تأیید شده توسط انسان میدهد.
- توقف در یک دور برچسبزنی کاذب به جای تکرار تا همگرایی.
پرسشهای متداول
چگونه آستانه اطمینان را انتخاب کنم؟
با احتیاط شروع کنید — برای طبقهبندی دودویی، مقادیر بالاتر از ۰.۹ در دور اول رایج هستند. دقت اعتبارسنجی مجموعه برچسبدار را پس از هر دور نظارت کنید و آستانه را به تدریج فقط در صورتی شل کنید که عملکرد حفظ شود یا بهبود یابد. هیچ مقدار اصولی واحدی وجود ندارد؛ با آن به عنوان یک ابرپارامتر قابل تنظیم رفتار کنید.
آیا مثالهای برچسبزنی کاذب باید با وزن برابر با مثالهای برچسبدار در نظر گرفته شوند؟
عموماً خیر. اختصاص وزنی کمتر از ۱.۰ (به عنوان مثال، ۰.۵) به مثالهای برچسبزنی کاذب، تأثیر پیشبینیهای نامطمئن را بر تابع زیان کاهش میدهد. برخی پیادهسازیها وزن را به اطمینان پیشبینی شده مدل گره میزنند و وزن بیشتری به برچسبهای کاذب با اطمینان بالاتر میدهند.
تقویت گرادیان نیمهنظارتی چه زمانی به عملکرد آسیب میزند؟
زمانی آسیب میزند که مدل اولیه برای تولید برچسبهای کاذب قابل اعتماد خیلی ضعیف باشد، زمانی که دادههای برچسبدار و بدون برچسب از نظر توزیع متفاوت باشند، یا زمانی که مجموعه بدون برچسب نسبت به مجموعه برچسبدار کوچک باشد. در این سناریوها، یک GBM نظارتی استاندارد فقط بر روی دادههای برچسبدار معمولاً ایمنتر است.
آیا این با حالت نیمهنظارتی داخلی CatBoost متفاوت است؟
CatBoost آموزش نیمهنظارتی را به صورت بومی با بهینهسازی مشترک زیان نظارتی بر روی دادههای برچسبدار و زیان بدون نظارت یا برچسب کاذب بر روی دادههای بدون برچسب در یک اجرای آموزشی واحد پیادهسازی میکند، که میتواند پایدارتر از برچسبزنی کاذب خارجی تکراری باشد. حلقههای خودآموزی دستی عمومیتر هستند و با هر کتابخانه GBM کار میکنند.
چند تکرار برچسبزنی کاذب لازم است؟
معمولاً ۳ تا ۱۰ دور کافی است؛ همگرایی زمانی تشخیص داده میشود که معیار اعتبارسنجی مجموعه برچسبدار دیگر بهبود نیابد یا تعداد برچسبهای کاذب پذیرفته شده جدید به نزدیک صفر کاهش یابد. دورهای بیشتر خطر تشدید خطاهای برچسب کاذب را دارند.
روشهای مرتبط
منابع
Yarowsky, D. (1995). Unsupervised word sense disambiguation rivaling supervised methods. Proceedings of ACL 1995, 189–196. (Foundational self-training framework underlying pseudo-label approaches.)
باز کردن مرجع انتشارکپی شد.Chapelle, O., Scholkopf, B., & Zien, A. (Eds.) (2006). Semi-Supervised Learning. MIT Press.
شابک: 978-0-262-03358-9کپی شد.