Skip to content
بازگشت به نتایج جست‌وجو

درخت تصمیم یادگیری فعال

معرفی‌شده توسط
Settles, B. (active learning framework); Breiman et al. (decision tree base)
سال
1984–2010
نوع
Active learning with decision tree base learner
خانواده
Machine learning

این متن ترجمه ماشینی است و هنوز بازبینی نشده است. متن اصلی را به انگلیسی بخوانید

اندازه قلم

چه کاری انجام می‌دهد؟

یادگیری فعال با درخت تصمیم، ساختار قابل تفسیر درخت‌هایی به سبک CART را با راهبرد پرس‌وجو ترکیب می‌کند که نمونه‌های برچسب‌نخورده بیشترین اطلاعات را برای حاشیه‌نویسی انسانی انتخاب می‌کند. این مدل به‌طور تکراری فقط برای مثال‌هایی که بیشترین عدم قطعیت را در مورد آن‌ها دارد، برچسب درخواست می‌کند و ضمن به حداکثر رساندن دقت طبقه‌بندی روی داده‌های جدولی، هزینه برچسب‌گذاری را به حداقل می‌رساند.

شهود پشت روش

برچسب‌گذاری هر مثال آموزشی پرهزینه است. یادگیری فعال با این پرسش از مدل این مشکل را حل می‌کند: «برچسب‌گذاری کدام نمونه برچسب‌نخورده، بیشترین یادگیری را به من می‌دهد؟» یک درخت تصمیم به عنوان طبقه‌بند استفاده می‌شود که عدم قطعیت را در هر مرحله پرس‌وجو تخمین می‌زند. پس از اضافه شدن هر برچسب جدید، درخت دوباره آموزش داده می‌شود و چرخه پرس‌وجو تکرار می‌شود. نتیجه مدلی است که با تعداد بسیار کمتری از مثال‌های برچسب‌دار نسبت به یک درخت کاملاً نظارت‌شده که از ابتدا آموزش داده شده، دقت رقابتی را به دست می‌آورد و آن را برای موقعیت‌هایی که حاشیه‌نویسی پرهزینه یا زمان‌بر است، عملی می‌سازد.

تاریخ

درخت‌های تصمیم به عنوان طبقه‌بند، ریشه در CART برِیمن و همکاران (1984) و C4.5 کوینلان (1993) دارند. یادگیری فعال به عنوان یک چارچوب سیستماتیک به طور جامع توسط بور ستلز (2010) بررسی شد، که راهبردهای نمونه‌برداری عدم قطعیت، پرس‌وجو توسط کمیته و تغییر مدل مورد انتظار را مستند کرد. درخت‌های تصمیم از اواخر دهه 1990 به عنوان یک یادگیرنده پایه استاندارد در معیارهای یادگیری فعال ظاهر شده‌اند و در کارهای اولیه نمونه‌برداری از مجموعه توسط کوهن، اطلس و لادنر (1994) و مقایسه‌های تجربی بعدی در انواع یادگیرنده‌ها حضور داشته‌اند.

چه زمانی استفاده شود

هنگامی که داده‌های آموزشی برچسب‌دار کمیاب یا گران هستند، اما مجموعه بزرگی از نمونه‌های برچسب‌نخورده در دسترس است — به عنوان مثال در حاشیه‌نویسی پزشکی، طبقه‌بندی اسناد، یا وظایف تشخیص نقص سنسور — از یادگیری فعال با درخت تصمیم استفاده کنید. پایه درخت تصمیم به‌ویژه زمانی مناسب است که تفسیر مدل نهایی در کنار کارایی برچسب‌گذاری مورد نیاز باشد. از این رویکرد زمانی اجتناب کنید که کل مجموعه داده را بتوان به راحتی برچسب‌گذاری کرد (یادگیری منفعل کافی است)، زمانی که مجموعه برچسب‌دار از قبل بزرگ است (صدها یا هزاران)، زمانی که فضای ویژگی بسیار پربعد است (یادگیرندگان فعال تقویت گرادیان یا عصبی بهتر عمل می‌کنند)، یا زمانی که هزینه بازآموزی در هر تکرار برای مجموعه داده‌های بسیار بزرگ غیرعملی است.

محدودیت‌ها و ملاحظات

  • راهبرد پرس‌وجو و بازآموزی درخت با هم می‌توانند در زمانی که مجموعه برچسب‌نخورده بسیار بزرگ است، از نظر محاسباتی پرهزینه باشند.
  • درخت‌های تصمیم، یادگیرندگان با واریانس بالا هستند؛ با تعداد کمی برچسب اولیه، درخت اولیه ممکن است غیرقابل اعتماد باشد و منجر به پرس‌وجوهای اولیه ضعیف شود.
  • سقف عملکرد در مقایسه با روش‌های گروهی مانند جنگل تصادفی یا تقویت گرادیان بر روی همان بودجه برچسب‌گذاری، پایین‌تر است.
  • فرض می‌کند که برچسب‌های اوراکل دقیق هستند؛ برچسب‌های نویزی یا ناسازگار می‌توانند حلقه فعال را سریع‌تر از یادگیری منفعل تخریب کنند.

شرایط منبع جایگزین بررسی علمی مستقل یا اعتبارسنجی توسط موتور تحلیل نیست.

نقاط قوت

  • تعداد برچسب‌های مورد نیاز برای رسیدن به دقت هدف را در مقایسه با نمونه‌برداری تصادفی به شدت کاهش می‌دهد.
  • مدل پایه درخت تصمیم برای انسان قابل تفسیر است و آن را برای دامنه‌های تنظیم‌شده یا نیازمند توضیح مناسب می‌سازد.
  • بدون نیاز به مقیاس‌بندی ویژگی‌ها، روی مجموعه داده‌های جدولی با اندازه متوسط و انواع ویژگی‌های ترکیبی به خوبی کار می‌کند.
  • راهبردهای پرس‌وجوی مبتنی بر عدم قطعیت، پیاده‌سازی و توضیح آن‌ها به ذینفعان، ساده است.
  • دقت خارج از کیسه (out-of-bag) یا مجموعه اعتبارسنجی پس از هر تکرار، یک منحنی یادگیری شفاف را فراهم می‌کند.

کاربردها

  • حاشیه‌نویسی تصاویر یا سوابق پزشکی که زمان برچسب‌گذاری توسط متخصص محدود است.
  • طبقه‌بندی متن با اسناد برچسب‌دار کمیاب و یک مجموعه بزرگ برچسب‌نخورده.
  • تشخیص نقص سنسور و صنعتی با هزینه‌های بالای حاشیه‌نویسی.
  • مجموعه داده‌های زیست‌محیطی یا سنجش از دور که تأیید میدانی آن‌ها پرهزینه است.
  • خطوط لوله تشخیص تقلب که تنها کسری کوچک از تراکنش‌ها را می‌توان به صورت دستی بررسی کرد.

چگونه کار می‌کند

چگونه کار می‌کند

1

مجموعه کوچکی از نمونه‌های برچسب‌دار اولیه برای شروع فرآیند، همراه با مجموعه‌ای بزرگتر از نمونه‌های برچسب‌نخورده جمع‌آوری می‌شود. مجموعه برچسب‌دار معمولاً به‌صورت تصادفی یا از طریق نمونه‌برداری طبقه‌بندی‌شده انتخاب می‌شود تا اطمینان حاصل شود که قبل از شروع حلقه فعال، حداقل یک مثال از هر کلاس مورد انتظار وجود دارد.

2

یک طبقه‌بند درخت تصمیم (معمولاً CART یا C4.5) بر روی مجموعه برچسب‌دار فعلی آموزش داده می‌شود. درخت قوانین تقسیم را یاد می‌گیرد که ناخالصی (جینی یا آنتروپی) را در هر گره به حداقل می‌رساند و طبقه‌بندی تولید می‌کند که می‌تواند تخمین‌های احتمال کلاس را برای هر نمونه برچسب‌نخورده نیز خروجی دهد.

3

یک معیار اطلاع‌رسانی — که معمولاً نمونه‌برداری عدم قطعیت مبتنی بر آنتروپی پیش‌بینی H یا اختلاف بین دو احتمال برتر کلاس است — هر نمونه برچسب‌نخورده را امتیازدهی می‌کند. نمونه با بالاترین امتیاز عدم قطعیت به عنوان پرس‌وجو انتخاب می‌شود: x* = argmax H(y-hat | x).

فرمول
x^* = \arg\max_{x \in U} H(\hat{y} \mid x)
4

نمونه انتخاب‌شده به یک اوراکل (حاشیه‌نویس انسانی یا مکانیزم برچسب‌گذاری خودکار) برای حاشیه‌نویسی ارائه می‌شود. برچسب واقعی آن به مجموعه آموزشی برچسب‌دار اضافه می‌شود و مجموعه برچسب‌نخورده یکی کمتر می‌شود. این مرحله گلوگاه حیاتی در کاربردهای واقعی است و باید از نظر قابلیت اطمینان حاشیه‌نویس ممیزی شود.

5

درخت تصمیم بر روی مجموعه برچسب‌دار گسترش‌یافته از ابتدا دوباره آموزش داده می‌شود و چرخه پرس‌وجو-امتیاز-برچسب تکرار می‌شود. معیارهای توقف شامل رسیدن به بودجه برچسب‌گذاری، آستانه دقت حداقل در یک مجموعه اعتبارسنجی نگه‌داشته‌شده، یا حداکثر تعداد تکرارها است. ارزیابی نهایی باید با استفاده از یک مجموعه آزمون کاملاً مستقل انجام شود.

دام‌های رایج

  • استفاده از مجموعه آزمون برای هدایت راهبرد پرس‌وجو، که باعث نشت اطلاعات و تورم معیارهای ارزیابی می‌شود.
  • عدم تنظیم یک دانه تصادفی ثابت، که باعث می‌شود ترتیب و نتایج برچسب‌گذاری در طول اجراها غیرقابل تکرار باشد.
  • نادیده گرفتن عدم تعادل کلاس در مجموعه اولیه، باعث می‌شود درخت عمدتاً از کلاس اکثریت پرس‌وجو کند.
  • توقف زودهنگام حلقه بر اساس دقت آموزش به جای مجموعه اعتبارسنجی مستقل.
  • در نظر گرفتن دقت یادگیری فعال نهایی به عنوان قابل مقایسه با یک خط پایه کاملاً نظارت‌شده بدون گزارش تعداد برچسب استفاده‌شده.

پرسش‌های متداول

چرا به جای یک مدل قدرتمندتر از درخت تصمیم به عنوان یادگیرنده پایه استفاده کنیم؟

درخت‌های تصمیم برای بازآموزی در هر تکرار سریع هستند و تخمین‌های احتمالی مورد نیاز برای امتیازدهی عدم قطعیت را تولید می‌کنند. تفسیرپذیری آن‌ها نیز در دامنه‌هایی که نیاز به توضیح مدل نهایی دارند، اهمیت دارد. برای حداکثر دقت، ممکن است یک یادگیرنده فعال جنگل تصادفی یا تقویت گرادیان ترجیح داده شود، اما با هزینه تفسیرپذیری.

به چند مثال برچسب‌دار اولیه برای شروع نیاز دارم؟

یک قاعده سرانگشتی رایج، حداقل یک یا دو مثال برای هر کلاس است تا اطمینان حاصل شود که درخت می‌تواند تقسیم‌های معنی‌داری انجام دهد. در عمل، شروع با 5 تا 20 نمونه برچسب‌دار معمول است؛ کمتر از این مقدار خطر یک درخت اولیه بسیار ضعیف را که قادر به تولید امتیازات عدم قطعیت آموزنده نیست، به همراه دارد.

آیا ترتیب پرس‌وجوها اهمیت دارد؟

بله. دنباله پرس‌وجو وابسته به مسیر است: پرس‌وجوهای اولیه آنچه را که درخت یاد می‌گیرد شکل می‌دهند و بنابراین کدام نمونه‌های بعدی نامطمئن‌ترین به نظر می‌رسند. دانه‌های تصادفی یا مجموعه‌های برچسب‌دار اولیه متفاوت می‌توانند منجر به منحنی‌های یادگیری متفاوتی شوند، بنابراین هنگام مقایسه راهبردها، آزمایش‌ها را در طول دانه‌ها تکرار کنید.

چه زمانی باید پرس‌وجو را متوقف کنم؟

بودجه برچسب‌گذاری را از قبل تعریف کنید، یا دقت اعتبارسنجی را رصد کنید و زمانی که بهبود به ازای هر برچسب جدید زیر یک آستانه افت کرد، متوقف شوید. هرگز از مجموعه آزمون به عنوان معیار توقف استفاده نکنید، زیرا این امر نشت داده محسوب می‌شود.

آیا می‌توانم از این رویکرد با مسائل چندکلاسه استفاده کنم؟

بله. نمونه‌برداری عدم قطعیت مبتنی بر آنتروپی به طور طبیعی به کلاس‌های متعدد تعمیم می‌یابد. برای تنظیمات چندکلاسه با عدم تعادل شدید، درخت‌های تصمیم هزینه-حساس یا وزن‌دار کلاس را در نظر بگیرید و اطمینان حاصل کنید که مجموعه اولیه تمام کلاس‌ها را پوشش می‌دهد.

روش‌های مرتبط

منابع

  1. Settles, B. (2010). Active Learning Literature Survey. Computer Sciences Technical Report 1648, University of Wisconsin-Madison.

    باز کردن مرجع انتشار
    کپی شد.
  2. Breiman, L., Friedman, J., Olshen, R., & Stone, C. (1984). Classification and Regression Trees. Wadsworth & Brooks.

    شابک: 978-0-412-04841-8
    کپی شد.