Skip to content
بازگشت به نتایج جست‌وجو

جنگل تصادفی نیمه‌نظارت‌شده

معرفی‌شده توسط
Leistner, C., Saffari, A., Santner, J., & Bischof, H.
سال
2009
نوع
Semi-supervised ensemble classifier
خانواده
Machine learning

این متن ترجمه ماشینی است و هنوز بازبینی نشده است. متن اصلی را به انگلیسی بخوانید

اندازه قلم

چه کاری انجام می‌دهد؟

جنگل تصادفی نیمه‌نظارت‌شده (SSL-RF) با بهره‌گیری از هر دو نمونه آموزشی برچسب‌دار و بدون برچسب، جنگل تصادفی کلاسیک را گسترش می‌دهد. هنگامی که برچسب‌گذاری داده‌ها پرهزینه یا زمان‌بر است، SSL-RF از طریق خود جنگل، شبه‌برچسب‌های موقتی را به مشاهدات بدون برچسب اختصاص می‌دهد، سپس بر روی مجموعه داده غنی‌شده مجدداً آموزش می‌بیند و به تدریج دقت را بدون نیاز به حاشیه‌نویسی انسانی اضافی بهبود می‌بخشد.

شهود پشت روش

تصور کنید از هیئتی از متخصصان (درختان شما) خواسته می‌شود تا مواردی را طبقه‌بندی کنند، اما بیشتر پرونده‌ها تشخیص تأیید شده‌ای ندارند. SSL-RF به هیئت اجازه می‌دهد تا در مورد پرونده‌های نامطمئن رأی دهد، رأی‌های مطمئن را به عنوان تشخیص‌های موقت در نظر می‌گیرد، آن پرونده‌ها را به مجموعه آموزشی اضافه می‌کند و مجدداً آموزش می‌دهد — این روند را تا زمانی که هیئت همگرا شود تکرار می‌کند. نمونه‌های برچسب‌دار جنگل را هدایت می‌کنند، در حالی که اکثریت بدون برچسب، مرزهای تصمیم‌گیری را در مناطقی شکل می‌دهند که داده‌های برچسب‌دار به تنهایی نمی‌توانستند به آن‌ها دست یابند، که منجر به تعمیم‌پذیری بهتر در زمان کمبود برچسب می‌شود.

تاریخ

یادگیری نیمه‌نظارت‌شده به عنوان یک حوزه توسط Xiaojin Zhu (2005) به طور سیستماتیک بررسی شد و انگیزه نظری برای بهره‌برداری از داده‌های بدون برچسب را ایجاد کرد. فرمول‌بندی متعارف SSL-RF توسط Leistner و همکاران در ICCV 2009 معرفی شد که تقسیم‌بندی مبتنی بر آنتروپی را با منظم‌سازی منیفولد در چارچوب جنگل تصادفی ترکیب می‌کرد. این روش در بینایی کامپیوتر و تصویربرداری پزشکی که هزینه‌های حاشیه‌نویسی بالا است، مورد توجه قرار گرفت و از آن زمان با ادغام ویژگی‌های عمیق و انواع انتشار برچسب مبتنی بر گراف گسترش یافته است.

چه زمانی استفاده شود

از جنگل تصادفی نیمه‌نظارت‌شده زمانی استفاده کنید که داده‌های بدون برچسب فراوان دارید اما برچسب‌گذاری پرهزینه، کمیاب یا زمان‌بر است — که در تصویربرداری پزشکی، سنجش از دور، طبقه‌بندی متن و داده‌های بیولوژیکی رایج است. این روش برای مجموعه‌داده‌های جدولی، ویژگی‌های مشتق‌شده از تصویر و انواع مختلط با حداقل یک زیرمجموعه برچسب‌دار متوسط (تقریباً ۵ تا ۲۰ درصد از کل داده‌ها) مناسب است. از آن زمانی اجتناب کنید که عملاً هیچ برچسب قابل اعتمادی وجود ندارد (جنگل اولیه برای تولید شبه‌برچسب‌های مفید بسیار ضعیف خواهد بود)، زمانی که مرزهای کلاس بسیار ناهموار هستند، یا زمانی که یک مدل کاملاً نظارت‌شده قبلاً عملکرد رضایت‌بخشی را فقط بر روی مجموعه برچسب‌دار شما به دست آورده است.

محدودیت‌ها و ملاحظات

  • کیفیت شبه‌برچسب‌ها به جنگل نظارت‌شده اولیه بستگی دارد؛ یک مدل شروع ضعیف، خطاها را در تمام تکرارهای بعدی منتشر می‌کند.
  • انتخاب آستانه اطمینان بی‌اهمیت نیست و می‌تواند به طور قابل توجهی بر عملکرد نهایی تأثیر بگذارد.
  • هزینه محاسباتی با تعداد نمونه‌های بدون برچسب و تکرارها افزایش می‌یابد، به ویژه برای جنگل‌های بزرگ.
  • اگر توزیع داده‌های بدون برچسب با داده‌های برچسب‌دار متفاوت باشد (تغییر کوواریانس)، شبه‌برچسب‌ها ممکن است به طور سیستماتیک سوگیرانه باشند.
  • همگرایی تضمین نمی‌شود؛ خودآموزی تکراری می‌تواند طبقه‌بندی‌های نادرست اولیه را بدون معیارهای توقف دقیق تقویت کند.

شرایط منبع جایگزین بررسی علمی مستقل یا اعتبارسنجی توسط موتور تحلیل نیست.

نقاط قوت

  • از داده‌های بدون برچسب ارزان برای بهبود دقت فراتر از آنچه داده‌های برچسب‌دار به تنهایی می‌توانند به دست آورند، بهره می‌برد.
  • تمام مزایای جنگل تصادفی را به ارث می‌برد: استحکام، اهمیت ویژگی داخلی، و مقاومت در برابر بیش‌برازش از طریق بگینگ.
  • آستانه اطمینان انعطاف‌پذیر به شما امکان می‌دهد تا میزان ادغام داده‌های بدون برچسب را کنترل کنید.
  • به طور طبیعی انواع ویژگی‌های مختلط، روابط غیرخطی و ورودی با ابعاد بالا را بدون هیچ گونه فرضیات توزیعی مدیریت می‌کند.
  • تخمین‌های خارج از کیسه از بخش برچسب‌دار، حتی با مجموعه‌های برچسب‌دار کوچک، یک سیگنال اعتبارسنجی ارائه می‌دهند.
  • قابل استفاده برای هر دو وظیفه طبقه‌بندی و رگرسیون با حداقل تغییرات الگوریتمی.

کاربردها

  • طبقه‌بندی تصاویر پزشکی که حاشیه‌نویسی متخصص پرهزینه است، مانند بافت‌شناسی و رادیولوژی.
  • سنجش از دور و تحلیل تصاویر ماهواره‌ای با برچسب‌های حقیقت-زمینه محدود.
  • دسته‌بندی متن و اسناد زمانی که فقط زیرمجموعه‌ای از اسناد را می‌توان به صورت دستی برچسب‌گذاری کرد.
  • تحلیل داده‌های بیولوژیکی و ژنومی که اعتبارسنجی آزمایشگاهی پرهزینه است.
  • کنترل کیفیت صنعتی با برچسب‌های خطای پراکنده اما خوانش‌های حسگر بدون برچسب فراوان.
  • تشخیص تقلب که موارد تقلب تأیید شده نسبت به تراکنش‌های بدون برچسب نادر هستند.

چگونه کار می‌کند

چگونه کار می‌کند

1

این فرآیند با یک مجموعه کوچک برچسب‌دار و یک مجموعه بزرگ بدون برچسب آغاز می‌شود. مشاهدات برچسب‌دار فضای ویژگی اولیه و توزیع کلاس را ایجاد می‌کنند و اطمینان می‌دهند که حداقل یک سیگنال قابل اعتماد قبل از هر مرحله شبه‌برچسب‌گذاری وجود دارد.

2

یک جنگل تصادفی استاندارد فقط بر روی داده‌های برچسب‌دار آموزش می‌بیند. نمونه‌برداری بوت‌استرپ و انتخاب ویژگی تصادفی دقیقاً مانند حالت نظارت‌شده اعمال می‌شوند و یک مجموعه تولید می‌کنند که پیش‌بینی‌های آن فقط برچسب‌های حقیقت-زمینه موجود در این مرحله را منعکس می‌کند.

3

جنگل آموزش‌دیده، احتمالات کلاس را برای هر مشاهده بدون برچسب پیش‌بینی می‌کند. نمونه‌هایی که احتمال پیش‌بینی‌شده آن‌ها از یک آستانه اطمینان — که اغلب با اعتبارسنجی متقابل تنظیم می‌شود — فراتر رود، یک شبه‌برچسب دریافت می‌کنند. نمونه‌های با اطمینان پایین ممکن است بدون برچسب باقی بمانند یا برای جلوگیری از انتشار خطا، وزن کمتری به آن‌ها داده شود.

4

جنگل بر روی مجموعه ترکیبی از نمونه‌های برچسب‌دار اصلی و نمونه‌های تازه شبه‌برچسب‌دار شده مجدداً آموزش می‌بیند. وزن‌دهی اختیاری نمونه می‌تواند وزن نمونه‌های شبه‌برچسب‌دار را نسبت به برچسب‌های واقعی کاهش دهد. منظم‌سازی منیفولد یا معیارهای تقسیم مبتنی بر آنتروپی نیز ممکن است در این مرحله اعمال شوند.

5

مراحل شبه‌برچسب‌گذاری و آموزش مجدد برای تعداد ثابتی از تکرارها یا تا زمانی که تخصیص شبه‌برچسب‌ها در دورهای متوالی پایدار شود، تکرار می‌شوند. توقف زودهنگام از انباشت خطاها به دلیل اطمینان بیش از حد، به ویژه در محیط‌های با نویز بالا یا همپوشانی بالا، جلوگیری می‌کند.

6

پیش‌بینی‌های نهایی با جمع‌آوری آرا در تمام درختان در آخرین جنگل آموزش‌دیده به دست می‌آیند: رأی اکثریت برای طبقه‌بندی یا میانگین پاسخ برای رگرسیون. امتیازات اطمینان از جنگل نیز می‌توانند به عنوان تخمین‌های عدم قطعیت کالیبره شده برای تصمیم‌گیری‌های بعدی عمل کنند.

فرمول
\hat{y} = \text{mode/mean of } T \text{ trees over labeled + pseudo-labeled data}

دام‌های رایج

  • تنظیم آستانه اطمینان بسیار پایین و پر کردن مجموعه آموزشی با شبه‌برچسب‌های نویزدار.
  • نادیده گرفتن تغییر کوواریانس بین مجموعه‌های برچسب‌دار و بدون برچسب، که می‌تواند به جای بهبود، دقت را کاهش دهد.
  • ارزیابی صرفاً بر اساس تخمین‌های خارج از کیسه بدون یک مجموعه آزمایشی برچسب‌دار واقعاً نگهداری شده.
  • اجرای بیش از حد تکرارهای خودآموزی بدون توقف زودهنگام، که باعث انباشت خطا در طول دورها می‌شود.
  • برخورد با مشاهدات شبه‌برچسب‌دار به عنوان قابل اعتماد برابر با برچسب‌های واقعی بدون اعمال هیچ گونه وزن‌دهی نمونه.

پرسش‌های متداول

برای شروع به چه مقدار داده برچسب‌دار نیاز دارم؟

حداقل سختی وجود ندارد، اما جنگل نظارت‌شده اولیه باید به اندازه کافی قوی باشد تا شبه‌برچسب‌های مفید تولید کند. در عمل، حداقل ۵ تا ۱۰ درصد از کل نمونه‌ها که برچسب‌دار هستند — یا چند صد مشاهده برچسب‌دار — تمایل به ارائه پیش‌بینی‌های شروع قابل اعتماد دارند. با برچسب‌های بسیار کم، به جای آن روش‌های هم‌آموزشی یا مبتنی بر گراف را در نظر بگیرید.

چگونه آستانه اطمینان را برای شبه‌برچسب‌گذاری انتخاب کنم؟

با استفاده از اعتبارسنجی متقابل بر روی مجموعه برچسب‌دار در یک شبکه از مقادیر آستانه (به عنوان مثال، ۰.۶۰ تا ۰.۹۵) و انتخاب مقداری که عملکرد نگهداری شده را به حداکثر می‌رساند. آستانه بالاتر نویز را کاهش می‌دهد اما حجم داده‌های بدون برچسب استفاده شده را نیز کاهش می‌دهد؛ شروع محافظه‌کارانه در حدود ۰.۸۰ یک روش رایج است.

آیا SSL-RF می‌تواند عدم تعادل کلاس را مدیریت کند؟

بله، اما عدم تعادل کلاس در مجموعه برچسب‌دار به شبه‌برچسب‌ها منتقل می‌شود. از معیارهای تقسیم‌بندی وزن‌دار کلاس یا نمونه‌برداری بیش از حد از کلاس اقلیت در مجموعه برچسب‌دار قبل از مرحله آموزش اول استفاده کنید. دقت و فراخوانی به ازای هر کلاس را به جای دقت کلی نظارت کنید.

آیا SSL-RF همان خودآموزی با یک یادگیرنده پایه جنگل تصادفی است؟

خودآموزی طرح‌واره الگوریتمی گسترده‌تری است؛ SSL-RF یکی از تحقق‌های آن است. پیاده‌سازی‌های SSL-RF ممکن است معیارهای تقسیم‌بندی منظم‌سازی شده منیفولد یا ساختار مبتنی بر گراف را نیز شامل شوند که فراتر از خودآموزی تکراری ساده است.

چه زمانی باید تقویت گرادیان را به SSL-RF ترجیح دهم؟

اگر تمام داده‌های شما برچسب‌دار هستند، تقویت گرادیان معمولاً دقت بالاتری را به همراه دارد و باید ترجیح داده شود. از SSL-RF به طور خاص زمانی استفاده کنید که بخش برچسب‌دار کوچک است و مجموعه بزرگی از داده‌های بدون برچسب برای بهره‌برداری در دسترس است.

روش‌های مرتبط

منابع

  1. Leistner, C., Saffari, A., Santner, J., & Bischof, H. (2009). Semi-supervised random forests. In Proceedings of the IEEE 12th International Conference on Computer Vision (ICCV), pp. 506–513. IEEE.

    باز کردن مرجع DOI
    کپی شد.
  2. Zhu, X. (2005). Semi-supervised learning literature survey. Computer Sciences Technical Report 1530, University of Wisconsin-Madison.

    باز کردن مرجع انتشار
    کپی شد.