Skip to content
بازگشت به نتایج جست‌وجو

یادگیری فعال LightGBM

معرفی‌شده توسط
Settles, B. (active learning); Ke, G. et al. (LightGBM)
سال
2017–present
نوع
Hybrid (active learning query strategy + gradient boosting classifier)
خانواده
Machine learning

این متن ترجمه ماشینی است و هنوز بازبینی نشده است. متن اصلی را به انگلیسی بخوانید

اندازه قلم

چه کاری انجام می‌دهد؟

یادگیری فعال LightGBM، استراتژی انتخاب پرس‌وجوی کارآمد برچسب‌گذاری یادگیری فعال را با سرعت و دقت LightGBM، یک چارچوب تقویت گرادیان مبتنی بر هیستوگرام، ترکیب می‌کند. این مدل به طور تکراری آموزنده‌ترین نمونه‌های بدون برچسب را برای حاشیه‌نویسی انسانی انتخاب می‌کند، LightGBM را بر روی مجموعه برچسب‌گذاری شده در حال رشد مجدداً آموزش می‌دهد و با مثال‌های برچسب‌گذاری شده بسیار کمتر از یادگیری نظارت شده منفعل به دقت بالایی همگرا می‌شود.

شهود پشت روش

برچسب‌گذاری داده‌ها پرهزینه است. یادگیری فعال LightGBM با استفاده از مدل فعلی LightGBM برای شناسایی نمونه‌های بدون برچسبی که بیشترین عدم قطعیت را در مورد آن‌ها دارد - آن‌هایی که نزدیک به مرز تصمیم‌گیری هستند یا بالاترین آنتروپی پیش‌بینی را دارند - و درخواست برچسب فقط برای آن‌ها از یک حاشیه‌نویس انسانی، این مشکل را برطرف می‌کند. از آنجایی که LightGBM به سرعت آموزش می‌بیند و از طریق تقویت گرادیان، تخمین‌های احتمالی خوب کالیبره شده تولید می‌کند، این سیگنال عدم قطعیت قابل اعتماد است. در طول چندین دور پرس‌وجو، مدل یاد می‌گیرد که بیشتر به چه اطلاعاتی نیاز دارد و با حداقل تلاش حاشیه‌نویسی، دقت را می‌سازد.

تاریخ

یادگیری فعال به عنوان یک حوزه توسط ستلز (۲۰۱۲) سیستم‌بندی شد، که از کارهای قبلی در نمونه‌برداری انتخابی و یادگیری پرس‌وجو از دهه ۱۹۹۰ بهره می‌برد. LightGBM توسط Ke و همکاران در NeurIPS 2017 به عنوان یک پیاده‌سازی بسیار کارآمد تقویت گرادیان با استفاده از شکاف‌های مبتنی بر هیستوگرام و رشد برگ-محور معرفی شد. ترکیب آن‌ها از حدود سال ۲۰۱۸ به بعد در یادگیری ماشین کاربردی محبوب شد، به ویژه در حاشیه‌نویسی متون پزشکی، سنجش از دور، و کنترل کیفیت صنعتی، که در آن‌ها هزینه‌های برچسب‌گذاری بالا و داده‌های جدولی یا غنی از ویژگی فراوان است.

چه زمانی استفاده شود

هنگامی که هزینه حاشیه‌نویسی اولویت اصلی است، از یادگیری فعال LightGBM استفاده کنید: مجموعه‌های بزرگی از داده‌های جدولی بدون برچسب وجود دارد اما برچسب‌گذاری هر نمونه از نظر زمانی یا مالی پرهزینه است و دقت در سطح LightGBM مورد نیاز است. این روش زمانی عالی عمل می‌کند که توزیع کلاس نامتعادل باشد یا داده‌های بدون برچسب فراوان باشند اما داده‌های برچسب‌گذاری شده کمیاب باشند. از آن زمانی استفاده نکنید که کل مجموعه داده به راحتی قابل برچسب‌گذاری باشد، زمانی که داده‌ها فقط به صورت دسته‌ای کاملاً برچسب‌گذاری شده وارد می‌شوند (یادگیری منفعل کافی است)، زمانی که اوراکل (حاشیه‌نویس) به صورت تعاملی قابل اعتماد یا در دسترس نیست، یا زمانی که تفسیرپذیری هر تصمیم بدون ابزارهای پس از وقوع به شدت مورد نیاز است.

محدودیت‌ها و ملاحظات

  • استراتژی پرس‌وجو و معیار توقف نیاز به انتخاب دقیق دارند؛ انتخاب‌های اشتباه بودجه برچسب‌گذاری را هدر می‌دهند.
  • هر دور تأخیر را معرفی می‌کند اگر بازآموزی از ابتدا انجام شود؛ مجموعه داده‌های بزرگ با دورهای زیاد می‌تواند کند باشد.
  • عملکرد به یک اوراکل قابل اعتماد بستگی دارد؛ برچسب‌های انسانی نویزی یا ناسازگار به سرعت مدل را تخریب می‌کنند.
  • برای تنظیمات کاملاً جریانی یا آنلاین بدون انطباق با آموزش افزایشی LightGBM مناسب نیست.

شرایط منبع جایگزین بررسی علمی مستقل یا اعتبارسنجی توسط موتور تحلیل نیست.

نقاط قوت

  • تلاش حاشیه‌نویسی را با تمرکز برچسب‌گذاری بر آموزنده‌ترین نمونه‌ها به شدت کاهش می‌دهد.
  • سرعت LightGBM امکان بازآموزی سریع بین دورهای پرس‌وجو را فراهم می‌کند و گردش کارهای تعاملی را عملی می‌سازد.
  • داده‌های جدولی با ابعاد بالا را به خوبی مدیریت می‌کند، از جمله ویژگی‌های دسته‌ای از طریق پشتیبانی بومی LightGBM.
  • سازگار با چندین استراتژی پرس‌وجو (نمونه‌برداری عدم قطعیت، حاشیه، آنتروپی، پرس‌وجو بر اساس کمیته).
  • به طور طبیعی عدم تعادل کلاس را از طریق پارامترهای وزن کلاس و مقیاس وزن مثبت LightGBM مدیریت می‌کند.

کاربردها

  • حاشیه‌نویسی سوابق پزشکی و NLP بالینی، که در آن برچسب‌گذاری تخصصی پرهزینه است.
  • طبقه‌بندی سنجش از دور و تصاویر ماهواره‌ای با پوشش حقیقت زمینی جزئی.
  • تشخیص نقص صنعتی بر روی داده‌های حسگر جدولی با بازرسی دستی پرهزینه.
  • تشخیص تقلب و امتیازدهی ریسک با برچسب‌های تأیید شده تقلب محدود.
  • غربالگری مقالات علمی در مرورهای سیستماتیک برای اولویت‌بندی اسناد برای خواندن متن کامل.

چگونه کار می‌کند

چگونه کار می‌کند

1

مجموعه کوچک اولیه از نمونه‌های برچسب‌گذاری شده به صورت تصادفی از داده‌های موجود استخراج می‌شود. این‌ها مجموعه اولیه آموزش را تشکیل می‌دهند. نمونه‌های باقی‌مانده بدون برچسب، مجموعه پرس‌وجو را تشکیل می‌دهند که مدل در دورهای بعدی درخواست حاشیه‌نویسی از آن خواهد کرد.

2

LightGBM با استفاده از رشد درختی برگ-محور مبتنی بر هیستوگرام خود بر روی مجموعه برچسب‌گذاری شده فعلی آموزش داده می‌شود که آموزش سریع و عملکرد پیش‌بینی قوی حتی بر روی مجموعه‌های برچسب‌گذاری شده کوچک را ارائه می‌دهد. تخمین‌های احتمالی برای هر کلاس برای تمام نمونه‌ها در مجموعه بدون برچسب تولید می‌شود.

3

یک تابع اکتساب، هر نمونه بدون برچسب را بر اساس آموزنده‌بودن آن امتیازدهی می‌کند - معمولاً آنتروپی پیش‌بینی H(y|x)، نمونه‌برداری حاشیه، یا اختلاف نظر در پرس‌وجو بر اساس کمیته. نمونه(های) با بالاترین امتیاز برای حاشیه‌نویسی در این دور انتخاب می‌شوند.

فرمول
x^* = \arg\max_{x \in U}\, H(y \mid x, \mathcal{L})
4

نمونه(های) انتخاب شده به یک اوراکل انسانی - یک متخصص دامنه، پلتفرم جمع‌سپاری، یا برچسب‌گذار خودکار - ارائه می‌شود که برچسب کلاس واقعی را ارائه می‌دهد. این تنها مرحله‌ای است که به ورودی خارجی نیاز دارد؛ هزینه و قابلیت اطمینان آن مستقیماً تعداد دورهای پرس‌وجوی عملی را محدود می‌کند.

5

نمونه‌های جدید برچسب‌گذاری شده به مجموعه آموزش اضافه می‌شوند و LightGBM از ابتدا مجدداً آموزش داده می‌شود (یا در صورت پشتیبانی به صورت افزایشی به‌روزرسانی می‌شود). چرخه تکرار می‌شود تا زمانی که بودجه برچسب‌گذاری، آستانه دقت، یا حداکثر دورهای پرس‌وجو به پایان برسد.

دام‌های رایج

  • ارزیابی عملکرد فقط بر روی مجموعه برچسب‌گذاری شده که به صورت فعال انتخاب شده است، که نسبت به مثال‌های دشوار سوگیری دارد - همیشه قبل از شروع حلقه یادگیری فعال، یک مجموعه آزمون تصادفی را کنار بگذارید.
  • نادیده گرفتن حساسیت شروع سرد: اگر مجموعه اولیه خیلی کوچک یا ناهمگون باشد، پرس‌وجوهای اولیه می‌تواند گمراه‌کننده باشد.
  • استفاده از احتمالات غیرکالیبره شده به عنوان امتیازات عدم قطعیت بدون بررسی کالیبراسیون LightGBM (مقیاس‌بندی پلات یا رگرسیون ایزوتونیک کمک می‌کند).
  • در نظر گرفتن مجموعه برچسب‌گذاری شده به عنوان i.i.d. هنگام گزارش معیارهای تعمیم - مجموعه نمونه‌برداری شده فعال، نمونه تصادفی از جمعیت نیست.

پرسش‌های متداول

کدام استراتژی پرس‌وجو با LightGBM بهترین کارایی را دارد؟

نمونه‌برداری عدم قطعیت از طریق آنتروپی پیش‌بینی، رایج‌ترین نقطه شروع است زیرا LightGBM مستقیماً احتمالات کلاس را تولید می‌کند. نمونه‌برداری حاشیه (اختلاف بین دو احتمال کلاس برتر) اغلب زمانی که تعداد کلاس‌ها بسیار نابرابر است، قوی‌تر است. پرس‌وجو بر اساس کمیته نیاز به آموزش چندین مدل دارد اما می‌تواند سوگیری ناشی از تخمین‌های عدم قطعیت یک مدل واحد را کاهش دهد.

چه تعداد نمونه برچسب‌گذاری شده برای شروع لازم است؟

یک مجموعه اولیه حداقل شامل یک نمونه در هر کلاس مورد نیاز است؛ در عمل، ۱۰ تا ۵۰ نمونه برچسب‌گذاری شده که به صورت تصادفی انتخاب شده‌اند در هر کلاس، سیگنال کافی به LightGBM برای تولید تخمین‌های عدم قطعیت معنی‌دار برای اولین دور پرس‌وجو می‌دهد.

آیا باید هر دور LightGBM را از ابتدا بازآموزی کنم؟

بازآموزی از ابتدا تضمین می‌کند که مدل به طور کامل مجموعه برچسب‌گذاری شده به‌روز شده را منعکس می‌کند و رویه استاندارد است. برای مجموعه داده‌های بسیار بزرگ یا دورهای زیاد، رویکردهای افزایشی وجود دارد اما نیاز به دقت دارد تا از انحراف مدل جلوگیری شود.

چگونه بفهمم کی باید پرس‌وجو را متوقف کنم؟

قوانین توقف رایج عبارتند از: رسیدن به یک بودجه برچسب‌گذاری ثابت، ثابت ماندن دقت اعتبارسنجی کنار گذاشته شده در طول چندین دور، یا کاهش حداقل امتیاز عدم قطعیت به زیر یک آستانه. نظارت بر عملکرد یک مجموعه آزمون تصادفی کنار گذاشته شده در طول دورها قابل اعتمادترین شاخص است.

آیا یادگیری فعال LightGBM همان یادگیری نیمه‌نظارت شده است؟

خیر. یادگیری نیمه‌نظارت شده از داده‌های بدون برچسب مستقیماً در آموزش استفاده می‌کند (به عنوان مثال، برچسب‌های کاذب یا تنظیم سازگاری). یادگیری فعال از یک اوراکل انسانی برای به دست آوردن برچسب‌های واقعی برای نمونه‌های بدون برچسب انتخاب شده پرس‌وجو می‌کند؛ داده‌های بدون برچسب بدون برچسب پرس‌وجو شده به سادگی برای آموزش استفاده نمی‌شوند.

روش‌های مرتبط

منابع

  1. Settles, B. (2012). Active Learning. Synthesis Lectures on Artificial Intelligence and Machine Learning, 6(1), 1–114. Morgan & Claypool.

    باز کردن مرجع DOI
    کپی شد.
  2. Ke, G., Meng, Q., Finley, T., Wang, T., Chen, W., Ma, W., Ye, Q., & Liu, T.-Y. (2017). LightGBM: A Highly Efficient Gradient Boosting Decision Tree. Advances in Neural Information Processing Systems, 30, 3146–3154.

    باز کردن مرجع انتشار
    کپی شد.