درخت تصمیم خودنظارتی
- معرفیشده توسط
- Multiple authors (active research area, 2010s–2020s)
- سال
- 2015–present
- نوع
- Self-supervised ensemble/single tree model
- خانواده
- Machine learning
این متن ترجمه ماشینی است و هنوز بازبینی نشده است. متن اصلی را به انگلیسی بخوانید
چه کاری انجام میدهد؟
یادگیری درخت تصمیم خودنظارتی، تفسیرپذیری درختهای تصمیم کلاسیک را با توانایی بهرهبرداری از مقادیر زیادی داده بدون برچسب از طریق وظایف پیشمتن خودنظارتی ترکیب میکند. این مدل قبل از اصلاح پیشبینیها بر روی یک مجموعه کوچک برچسبدار، بازنماییهای ویژگی مفید یا معیارهای تقسیم گره را از نمونههای بدون برچسب میآموزد و شکاف بین درختهای کاملاً نظارتی و خوشهبندی کاملاً بدون نظارت را پر میکند.
شهود پشت روش
درختهای تصمیم استاندارد به مثالهای برچسبدار در هر گره نیاز دارند. در بسیاری از تنظیمات دنیای واقعی، جمعآوری برچسبها پرهزینه است اما دادههای خام فراوان هستند. درختهای تصمیم خودنظارتی با این مشکل را با این کار حل میکنند که ابتدا از درخت میخواهند یک وظیفه کمکی را حل کند - به عنوان مثال، پیشبینی اینکه آیا دو نمونه متعلق به یک خوشه هستند یا خیر، یا بازسازی ویژگیهای ماسک شده - فقط با استفاده از دادههای بدون برچسب. این مرحله پیشمتن به درخت میآموزد که کدام ویژگیها و آستانهها به طور کلی آموزنده هستند. هنگامی که سرانجام برچسبها میرسند، درخت از قبل یک شروع خوب دارد و به تعداد بسیار کمتری از آنها برای رسیدن به دقت خوب نیاز دارد.
تاریخ
یادگیری خودنظارتی به عنوان یک پارادایم در یادگیری عمیق از طریق کارهایی بر روی اهداف کنتراستیو و وظایف پیشمتن در دهه 2010 به شهرت رسید. محققان متعاقباً این ایدهها را برای مدلهای مبتنی بر درخت به کار بردند تا مزایای تفسیرپذیری خود را در رژیمهای کمبرچسب بازیابی کنند. فرمولبندیهای اولیه برچسبگذاری شبه را از یادگیری نیمهنظارتی وام گرفتند، در حالی که انواع بعدی اهداف کنتراستیو و بازسازی را مستقیماً در معیار رشد درخت پذیرفتند و این حوزه را به یک حوزه تحقیقاتی فعال در طول دهه 2020 تبدیل کردند.
چه زمانی استفاده شود
زمانی توصیه میشود که مثالهای آموزشی برچسبدار کمیاب باشند اما یک استخر بزرگ بدون برچسب از همان توزیع در دسترس باشد، و زمانی که درجهای از تفسیرپذیری هنوز مورد نیاز است (رویکردهای شبکههای عصبی عمیق را رد میکند). همچنین زمانی مناسب است که کارشناسان دامنه بتوانند وظایف پیشمتن معنیداری را همسو با هدف پیشبینی طراحی کنند. زمانی مناسب نیست که مجموعه برچسبدار از قبل بزرگ باشد (درختهای نظارتی استاندارد عملکرد را مطابقت میدهند یا از آن فراتر میروند)، زمانی که دادههای بدون برچسب از توزیع متفاوتی میآیند، یا زمانی که حداکثر دقت پیشبینی در معیارهای جدولی تنها نگرانی است (تقویت گرادیان به طور کلی از آن بهتر عمل خواهد کرد).
محدودیتها و ملاحظات
- عملکرد به طراحی وظیفه پیشمتن حساس است؛ یک وظیفه بد انتخاب شده میتواند ساختار درخت را گمراه کند.
- نویز برچسب شبه در طول شکافها انباشته میشود اگر توزیع بدون برچسب از دادههای برچسبدار منحرف شود.
- هزینه محاسباتی به دلیل مرحله آموزش پیشمتن، بیشتر از درختهای نظارتی استاندارد است.
- تضمینهای نظری در مورد کیفیت برچسب شبه و همگرایی کمتر از درختهای کاملاً نظارتی تثبیت شدهاند.
شرایط منبع جایگزین بررسی علمی مستقل یا اعتبارسنجی توسط موتور تحلیل نیست.
نقاط قوت
- از دادههای بدون برچسب فراوان برای بهبود تعمیم در زمانی که نمونههای برچسبدار کمیاب هستند، بهره میبرد.
- تفسیرپذیری درختهای تصمیم را حفظ میکند: شکافها خوانا و قابل حسابرسی باقی میمانند.
- چارچوب انعطافپذیر که وظایف پیشمتن متنوعی را که برای دانش دامنه سفارشی شدهاند، در خود جای میدهد.
- هزینه برچسبگذاری را بدون قربانی کردن ماهیت جعبه سفید پیشبینیهای مبتنی بر درخت کاهش میدهد.
- سازگار با افزونههای گروهی (جنگل تصادفی، تقویت) برای افزایش بیشتر دقت.
کاربردها
- تشخیص پزشکی که در آن سوابق بیمار برچسبدار نادر است اما دادههای تصویربرداری یا بالینی بدون برچسب فراوان است.
- تشخیص خطا در صنعت با استفاده از گزارشهای سنسور عملیات عادی فراوان و رویدادهای خطای برچسبدار کم.
- طبقهبندی زبان طبیعی با مجموعههای متنی محدود اما استخرهای متنی خام بزرگ.
- تشخیص کلاهبرداری مالی که در آن برچسبهای کلاهبرداری تأیید شده نسبت به حجم تراکنشها پراکنده هستند.
- تجزیه و تحلیل دادههای علمی (ژنتیک، آب و هوا) که در آن حاشیهنویسی متخصص گلوگاه است.
چگونه کار میکند
چگونه کار میکند
یک وظیفه پیشمتن طراحی شده است به گونهای که درخت تصمیم بتواند بر روی دادههای بدون برچسب با سیگنالهای نظارتی تولید شده خودکار آموزش ببیند. گزینههای رایج شامل پیشبینی عضویت در خوشه از یک مرحله قبلی k-means، پیشبینی مقادیر ویژگی ماسک شده یا خراب شده، یا تخصیص برچسبهای چرخش/تبدیل به نمونهها است. وظیفه پیشمتن درخت را مجبور میکند تا شکافهای آموزنده را بدون هیچ برچسب ارائه شده توسط انسان کشف کند.
پس از مرحله پیشمتن، برچسبهای شبه با اطمینان بالا با استفاده از بازنماییها یا تخصیصهای خوشه آموخته شده به نمونههای بدون برچسب اختصاص داده میشوند. این برچسبهای شبه به عنوان اهداف نرم در آموزش بعدی در نظر گرفته میشوند و به طور موثر مجموعه برچسبدار را از یک مجموعه کوچک اولیه به یک مجموعه کاری بسیار بزرگتر گسترش میدهند و در عین حال تخمینهای عدم قطعیت ساختاری را در کنار هر برچسب منتشر میکنند.
با استفاده از سیگنال ترکیبی از برچسبهای شبه و هرگونه برچسب واقعی موجود، درخت تصمیم با استفاده از یک الگوریتم تقسیم استاندارد (مانند CART، ID3 یا C4.5) رشد داده میشود. ویژگیهای مشتق شده از پیشمتن یا امتیازات خوشه میتوانند به عنوان ابعاد ورودی اضافی عمل کنند و فضای ویژگی را فراتر از ورودیهای خام غنی کنند و امکان شکافهایی را فراهم کنند که توسط یک درخت کاملاً نظارتی بر روی برچسبهای پراکنده از دست میروند.
شکافهای گره برای حداکثر کردن معیار اطلاعات - بهره اطلاعات، ناخالصی جینی، یا یک هدف کنتراستیو خودنظارتی - ارزیابی شده بر روی مجموعه آموزشی افزوده شده انتخاب میشوند. از آنجایی که برچسبهای شبه ساختار جهانی آموخته شده از بسیاری از نمونههای بدون برچسب را منعکس میکنند، شکافها تمایل به تعمیم بهتر از شکافهای آموخته شده از یک مجموعه برچسبدار کوچک به تنهایی دارند.
پس از رشد درخت اولیه، یک مرحله تنظیم دقیق، پیشبینیهای برگ را فقط با استفاده از نمونههای برچسبدار تأیید شده، دوباره هرس یا وزندهی میکند. این هرگونه نویز برچسب شبه معرفی شده در مراحل قبلی را اصلاح میکند و تضمین میکند که پیشبینیهای نهایی با مرزهای کلاس واقعی همسو میشوند نه مرزهای تقریبی برچسب شبه.
دامهای رایج
- طراحی یک وظیفه پیشمتن که نامرتبط با هدف پاییندستی است و منجر به بازنماییهایی میشود که منتقل نمیشوند.
- استفاده از برچسبهای شبه بدون آستانهگذاری اطمینان، که مجموعه آموزشی را با مثالهای پرنویز پر میکند.
- نادیده گرفتن مرحله تنظیم دقیق و استقرار مستقیم درخت آموزش دیده با برچسب شبه، که خطاهای سیستماتیک برچسبگذاری را حفظ میکند.
- نادیده گرفتن شیفت توزیعی بین استخرهای برچسبدار و بدون برچسب - برچسبهای شبه ساختار داده اشتباه را منعکس میکنند.
- در نظر گرفتن تفسیرپذیری به عنوان تضمین شده بدون تأیید اینکه شکافهای مشتق شده از برچسب شبه از نظر معنایی معنادار باقی میمانند.
پرسشهای متداول
این با یادگیری نیمهنظارتی با درختهای تصمیم چه تفاوتی دارد؟
رویکردهای نیمهنظارتی معمولاً برچسبها را مستقیماً از گرههای برچسبدار به بدون برچسب منتشر میکنند. درختهای تصمیم خودنظارتی ابتدا یک وظیفه پیشمتن را تعریف میکنند که سیگنالهای نظارتی مصنوعی را فقط از دادههای بدون برچسب تولید میکند و قبل از مشاهده هرگونه برچسب پاییندستی، راهنمایی ساختاری غنیتری به درخت میدهد.
کدام وظیفه پیشمتن را باید انتخاب کنم؟
بهترین وظیفه پیشمتن، هدف پاییندستی را منعکس میکند. برای طبقهبندی جدولی، پیشبینی خوشه k-means یا بازسازی ویژگی ماسک شده نقاط شروع رایجی هستند. اگر دانش دامنه در دسترس باشد - به عنوان مثال، ترتیب زمانی در ردیفهای سری زمانی - وظیفهای که از آن ساختار بهره میبرد، بهتر منتقل میشود.
آیا این برای اهداف رگرسیون کار میکند؟
بله. برچسبهای شبه میتوانند مراکز خوشه پیوسته یا مقادیر ویژگی بازسازی شده باشند و درخت را میتوان با معیار خطای میانگین مربعات در مرحله تنظیم دقیق رشد داد. وظیفه پیشمتن به سادگی باید سیگنالی تولید کند که با نتیجه پیوسته همبستگی داشته باشد.
آیا میتوانم این را با جنگلهای تصادفی یا تقویت ترکیب کنم؟
بله. هر درخت در گروه میتواند به طور مستقل با رویه خودنظارتی رشد کند و گروه نهایی آراء یا پیشبینیهای آنها را به روش معمول جمعآوری میکند. این اغلب بخش زیادی از شکاف دقت را در مقایسه با تقویت گرادیان بازیابی میکند و در عین حال تفسیرپذیری را در سطح درخت منفرد حفظ میکند.
چگونه کیفیت برچسب شبه را ارزیابی کنم؟
دقت برچسب شبه را بر روی زیرمجموعه کوچک برچسبدار در مقابل برچسبهای واقعی قبل از تنظیم دقیق مقایسه کنید. دقت برچسب شبه کمتر از 70٪ در آن مجموعه برچسبدار خارج از نمونه، نشانه هشدار دهنده است که وظیفه پیشمتن به خوبی همسو نشده است یا شیفت توزیعی وجود دارد.
روشهای مرتبط
منابع
Self-supervised learning. Wikipedia.
باز کردن مرجع انتشارکپی شد.Decision tree learning. Wikipedia.
باز کردن مرجع انتشارکپی شد.