Skip to content
بازگشت به نتایج جست‌وجو

ماشین بردار پشتیبان یادگیری فعال

معرفی‌شده توسط
Tong, S. & Koller, D.
سال
2001
نوع
Active learning + kernel classifier
خانواده
Machine learning

این متن ترجمه ماشینی است و هنوز بازبینی نشده است. متن اصلی را به انگلیسی بخوانید

اندازه قلم

چه کاری انجام می‌دهد؟

ماشین بردار پشتیبان (SVM) یادگیری فعال، مرز تصمیم‌گیری قوی ماشین‌های بردار پشتیبان را با یک استراتژی پرس‌وجوی هوشمند ترکیب می‌کند که آموزنده‌ترین نمونه‌های بدون برچسب را برای حاشیه‌نویسی انسانی انتخاب می‌کند. این روش که در سال ۲۰۰۱ توسط تونگ و کولر معرفی شد، با استفاده از مثال‌های برچسب‌دار بسیار کمتر از یادگیری نظارت‌شده منفعل، به دقت طبقه‌بندی بالایی دست می‌یابد و آن را در مواردی که برچسب‌گذاری پرهزینه یا کند است، عملی می‌سازد.

شهود پشت روش

یک SVM استاندارد به مثال‌های برچسب‌دار زیادی برای ترسیم یک مرز تصمیم‌گیری قابل اعتماد نیاز دارد. SVM یادگیری فعال گردش کار برچسب‌گذاری را معکوس می‌کند: یک SVM مقدماتی را بر روی مجموعه‌ای کوچک از داده‌های برچسب‌دار اولیه آموزش می‌دهد، سپس به تمام داده‌های بدون برچسب نگاه می‌کند و می‌پرسد 'کدام مثال، در صورت برچسب‌گذاری، مرز را بیشتر تیز می‌کند؟' این الگوریتم نمونه‌ای را که نزدیک‌ترین به ابرصفحه فعلی قرار دارد - جایی که مدل بیشترین عدم قطعیت را دارد - انتخاب می‌کند، فقط آن نقطه را برچسب‌گذاری می‌کند، دوباره آموزش می‌دهد و تکرار می‌کند. از آنجایی که هر برچسب به صورت استراتژیک انتخاب می‌شود، تعداد شگفت‌انگیزی از حاشیه‌نویسی‌ها می‌توانند مرزی تقریباً به خوبی برچسب‌گذاری جامع تولید کنند.

تاریخ

فرمول‌بندی اصلی یادگیری فعال برای SVMها توسط سایمون تونگ و دافنه کولر در ICML 2001 ارائه شد و در مجله Journal of Machine Learning Research (2001) منتشر شد. الگوریتم حاشیه ساده آن‌ها، انتخاب پرس‌وجو مبتنی بر حاشیه را به عنوان رویکرد استاندارد تثبیت کرد. بررسی ادبیات توسط بور ستلز در سال ۲۰۱۰، حوزه گسترده‌تر یادگیری فعال را سیستماتیک کرد و AL-SVM را به عنوان یکی از نمونه‌های متعارف آن تثبیت نمود. این روش همچنان یک معیار در تحقیقات یادگیری کارآمد حاشیه‌نویسی باقی مانده و به طور گسترده در طبقه‌بندی متن، تجزیه و تحلیل تصویر پزشکی و سنجش از دور استفاده می‌شود.

چه زمانی استفاده شود

هنگامی که داده‌های برچسب‌دار کمیاب یا به دست آوردن آن‌ها پرهزینه است - که در تصویربرداری پزشکی، طبقه‌بندی اسناد و وظایف حاشیه‌نویسی علمی رایج است - و مجموعه بزرگی از داده‌های بدون برچسب در دسترس است، از SVM یادگیری فعال استفاده کنید. این روش زمانی که هزینه‌های برچسب‌گذاری بالا هستند و مرز تصمیم‌گیری غیربدیهی است، از برچسب‌گذاری تصادفی بهتر عمل می‌کند. زمانی که برچسب‌گذاری تمام داده‌های موجود از قبل امکان‌پذیر است؛ زمانی که فضای ویژگی ابعاد بسیار بالایی بدون ساختار هسته مشخص دارد؛ یا زمانی که مجموعه بدون برچسب برای بهره‌مندی از پرس‌وجوی انتخابی بسیار کوچک است، از آن استفاده نکنید. همچنین زمانی که در دسترس بودن اوراکل متناوب است، از آن اجتناب کنید، زیرا حلقه تکراری نیاز به دسترسی مکرر انسانی دارد.

محدودیت‌ها و ملاحظات

  • آموزش مجدد SVM از ابتدا در هر تکرار برای مجموعه‌های برچسب‌دار بزرگ از نظر محاسباتی پرهزینه است؛ به‌روزرسانی‌های افزایشی SVM هزینه را کاهش می‌دهند اما حذف نمی‌کنند.
  • نمونه‌برداری حاشیه می‌تواند نمونه‌های تکراری یا پرت را انتخاب کند اگر مجموعه بدون برچسب حاوی نویز یا موارد تکراری نزدیک به مرز باشد.
  • عملکرد به شدت به انتخاب هسته و ابرپارامترها بستگی دارد که تنظیم دقیق آن‌ها با مثال‌های برچسب‌دار کم، دشوار است.
  • فرض می‌شود اوراکل همیشه در دسترس و بی‌خطا است؛ برچسب‌های نویزی یا ناسازگار از حاشیه‌نویسان واقعی، همگرایی را کاهش می‌دهند.

شرایط منبع جایگزین بررسی علمی مستقل یا اعتبارسنجی توسط موتور تحلیل نیست.

نقاط قوت

  • دستیابی به دقت طبقه‌بندی بالا با مثال‌های برچسب‌دار به طور قابل توجهی کمتر از یادگیری نظارت‌شده منفعل.
  • مبتنی بر تئوری SVM: انتخاب پرس‌وجو مبتنی بر حاشیه دارای توجیه هندسی و احتمالی واضحی است.
  • انتخاب هسته انعطاف‌پذیر (خطی، RBF، چندجمله‌ای) امکان انطباق با فضاهای ویژگی متنی، تصویری و جدولی را فراهم می‌کند.
  • فرمول‌بندی مبتنی بر مجموعه عملی است: کل مجموعه بدون برچسب از قبل در دسترس است، که در برنامه‌های کاربردی واقعی رایج است.
  • آموزش مجدد تکراری، منحنی نظارت طبیعی عملکرد در مقابل بودجه حاشیه‌نویسی را ارائه می‌دهد.

کاربردها

  • طبقه‌بندی متن و اسناد با حاشیه‌نویسی تخصصی پرهزینه (مانند سوابق حقوقی، پزشکی).
  • برچسب‌گذاری تصویر پزشکی که در آن زمان رادیولوژیست یا پاتولوژیست یک محدودیت تعیین‌کننده است.
  • طبقه‌بندی تصویر سنجش از دور و ماهواره‌ای با آرشیوهای بزرگ بدون برچسب.
  • تشخیص هرزنامه و نفوذ که در آن برچسب‌گذاری نیاز به بررسی کارشناس امنیتی دارد.
  • حاشیه‌نویسی داده‌های علمی در ژنومیک یا علوم مواد با هزینه برچسب‌گذاری بالا برای هر نمونه.

چگونه کار می‌کند

چگونه کار می‌کند

1

یک SVM بر روی یک مجموعه اولیه کوچک از مثال‌های برچسب‌دار آموزش داده می‌شود و یک ابرصفحه تصمیم‌گیری اولیه ایجاد می‌کند. کیفیت این مجموعه اولیه مهم است: تعادل کلاس و تنوع نماینده، حتی در تعداد کمی از مثال‌ها، هر دو مهم هستند.

2

الگوریتم هر نمونه بدون برچسب را بر اساس فاصله آن از ابرصفحه SVM فعلی امتیازدهی می‌کند. نمونه‌ای با کمترین مقدار حاشیه مطلق - یعنی نزدیک‌ترین به مرز، جایی که مدل کمترین اطمینان را دارد - به عنوان پرس‌وجوی بعدی انتخاب می‌شود. این استراتژی به عنوان نمونه‌برداری حاشیه یا حاشیه ساده شناخته می‌شود.

فرمول
x^* = \arg\min_{x \in U} |\mathbf{w} \cdot \phi(x) + b|
3

نمونه انتخاب شده به یک حاشیه‌نویس انسانی (اوراکل) ارائه می‌شود که برچسب کلاس واقعی را به آن اختصاص می‌دهد. در یادگیری فعال مبتنی بر مجموعه، این یک نمونه در هر تکرار است؛ انواع حالت دسته‌ای، یک دسته کوچک متنوع را برای کاهش دورهای تعامل با اوراکل انتخاب می‌کنند.

4

نمونه جدید برچسب‌گذاری شده به مجموعه برچسب‌دار اضافه می‌شود و SVM از ابتدا (یا به صورت افزایشی به‌روزرسانی می‌شود) بر روی مجموعه بزرگ‌شده دوباره آموزش داده می‌شود. انتخاب هسته (خطی، RBF، چندجمله‌ای) و پارامتر تنظیم C ثابت یا با اعتبارسنجی متقابل بر روی مجموعه برچسب‌دار تعیین می‌شوند.

5

حلقه تا زمانی ادامه می‌یابد که بودجه از پیش تعیین شده (تعداد حاشیه‌نویسی‌ها، محدودیت زمانی، یا دقت هدف بر روی یک مجموعه اعتبارسنجی جدا شده) تمام شود، یا تا زمانی که حاشیه نمونه‌های پرس‌وجو شده از یک آستانه اطمینان عبور کند که قطعیت کافی مدل را نشان می‌دهد.

دام‌های رایج

  • شروع با یک مجموعه اولیه نامتعادل کلاس، که ابرصفحه اولیه را سوگیری می‌کند و تمام پرس‌وجوهای بعدی را به سمت یک منطقه منحرف می‌کند.
  • نادیده گرفتن مقیاس‌بندی ویژگی‌ها: حاشیه‌های SVM مبتنی بر فاصله هستند، بنابراین ویژگی‌های مقیاس‌بندی نشده باعث می‌شوند مدل ابعاد با واریانس کم را کاملاً نادیده بگیرد.
  • در نظر گرفتن دقت مجموعه آموزشی به عنوان یک تخمین قابل اعتماد عملکرد بدون یک مجموعه آزمون جداگانه.
  • انتخاب دسته بیش از حد بزرگ در هر دور، که ناکارآمدی برچسب‌گذاری منفعل را دوباره معرفی می‌کند و مزیت انتخاب فعال را کاهش می‌دهد.
  • استفاده از هسته خطی بر روی داده‌های ذاتاً غیرخطی، و سپس نسبت دادن نتایج ضعیف به یادگیری فعال به جای مشخص‌سازی نادرست مدل.

پرسش‌های متداول

تفاوت SVM یادگیری فعال با SVM استاندارد چیست؟

یک SVM استاندارد به طور منفعل از هر داده برچسب‌داری که ارائه می‌شود استفاده می‌کند. SVM یادگیری فعال به طور فعال نمونه‌های بدون برچسب را برای درخواست برچسب انتخاب می‌کند و آن‌هایی را که نزدیک‌ترین به مرز تصمیم‌گیری فعلی هستند، انتخاب می‌کند. مدل طبقه‌بندی همان SVM است؛ فقط استراتژی جمع‌آوری داده تغییر می‌کند.

از کدام استراتژی پرس‌وجو باید استفاده کنم؟

حاشیه ساده (انتخاب نزدیک‌ترین نمونه بدون برچسب به ابرصفحه) استراتژی متعارف و پرمطالعه‌ترین است. انواع حالت دسته‌ای که تنوع را در یک مجموعه انتخاب شده به حداکثر می‌رسانند، زمانی که دورهای تعامل با اوراکل پرهزینه هستند، ارجحیت دارند، البته با هزینه پیاده‌سازی کمی پیچیده‌تر.

چه زمانی باید پرس‌وجو را متوقف کنم؟

معیارهای توقف رایج شامل اتمام یک بودجه حاشیه‌نویسی ثابت، رسیدن به دقت هدف بر روی یک مجموعه اعتبارسنجی، یا مشاهده اینکه نمونه‌های پرس‌وجو شده متوالی همگی دور از مرز قرار دارند (نشان‌دهنده تثبیت اطمینان مدل) است. از اتکا صرف به عملکرد مجموعه آموزشی که بیش از حد خوش‌بینانه است، اجتناب کنید.

آیا SVM یادگیری فعال می‌تواند مسائل چندکلاسه را مدیریت کند؟

بله، از طریق تجزیه یک در مقابل استراحت یا یک در مقابل یک. حاشیه برای انتخاب پرس‌وجوی چندکلاسه معمولاً به صورت تفاوت بین دو امتیاز کلاس بالاتر تعریف می‌شود؛ نمونه‌هایی با کوچکترین شکاف انتخاب می‌شوند. برخی پیاده‌سازی‌ها از معیارهای اختصاصی یادگیری فعال چندکلاسه استفاده می‌کنند.

آیا یادگیری عمیق باعث منسوخ شدن SVM یادگیری فعال می‌شود؟

نه کاملاً. SVM یادگیری فعال زمانی که داده‌های برچسب‌دار بسیار کمیاب هستند (ده‌ها تا صدها مثال)، محاسبات آموزشی محدود است، یا تفسیرپذیری حاشیه ارزشمند است، رقابتی باقی می‌ماند. روش‌های یادگیری عمیق فعال تنها زمانی ارجحیت پیدا می‌کنند که منابع GPU در دسترس باشند و مجموعه بدون برچسب بسیار بزرگ باشد.

روش‌های مرتبط

منابع

  1. Tong, S., & Koller, D. (2001). Support Vector Machine Active Learning with Applications to Text Classification. Journal of Machine Learning Research, 2, 45–66.

    باز کردن مرجع انتشار
    کپی شد.
  2. Settles, B. (2010). Active Learning Literature Survey. Computer Sciences Technical Report 1648, University of Wisconsin–Madison.

    باز کردن مرجع انتشار
    کپی شد.