Skip to content
بازگشت به نتایج جست‌وجو

مجموعه رأی‌گیری

معرفی‌شده توسط
Lam & Suen; Kuncheva, L. I. (systematic treatment)
سال
1990s–2004
نوع
Ensemble (combination of multiple classifiers by vote)
خانواده
Machine learning

این متن ترجمه ماشینی است و هنوز بازبینی نشده است. متن اصلی را به انگلیسی بخوانید

اندازه قلم

چه کاری انجام می‌دهد؟

یک مجموعه رأی‌گیری چندین طبقه‌بند متنوع را به طور مستقل آموزش می‌دهد و پیش‌بینی‌های آن‌ها را با رأی ترکیب می‌کند: رأی‌گیری سخت، کلاسی را انتخاب می‌کند که توسط بیشترین مدل‌ها انتخاب شده است، در حالی که رأی‌گیری نرم، تخمین‌های احتمال کلاس آن‌ها را میانگین‌گیری می‌کند، که به صورت اختیاری با وزن‌های مخصوص هر مدل همراه است. ترکیب معمولاً از هر عضو منفرد بهتر عمل می‌کند و پس از تنظیم مدل‌های پایه، نیازی به آموزش اضافی ندارد.

شهود پشت روش

تصور کنید از پنج پزشک نظرخواهی کنید و نظر اکثریت را بپذیرید. هر پزشک ممکن است به شیوه‌های متفاوتی اشتباه کند، اما تجمیع نظرات آن‌ها اشتباهات فردی را خنثی می‌کند. یک مجموعه رأی‌گیری به همین ترتیب عمل می‌کند: مدل‌های متنوع بر روی مثال‌های متفاوتی شکست می‌خورند، بنابراین رأی ترکیبی آن‌ها قابل اعتمادتر از هر مدل منفرد است. رأی‌گیری نرم با اجازه دادن به مدل‌های با اطمینان بیشتر برای مشارکت متناسب با امتیازات احتمال خود در تصمیم نهایی، این را بهبود می‌بخشد.

تاریخ

ترکیب طبقه‌بندها با رأی اکثریت از اوایل دهه ۱۹۹۰ به طور سیستماتیک مورد مطالعه قرار گرفت، با مبانی نظری قابل توجه توسط لام و سوئن (۱۹۹۴) و کیتلر و همکاران (۱۹۹۸). تک‌نگاشت ۲۰۰۴ لودمیلا کونچوا، درمان قطعی ترکیب طبقه‌بندهای الگو را ارائه داد که شامل رأی‌گیری سخت و نرم، رأی‌گیری وزنی، و نقش تنوع بود. رأی‌گیری نرم از طریق VotingClassifier در scikit-learn محبوبیت عملی پیدا کرد، که ترکیب دلخواه تخمین‌گرها را در یک فراخوان API واحد آسان کرد.

چه زمانی استفاده شود

هنگامی که دو یا چند طبقه‌بند متنوع از پیش آموزش‌دیده دارید و می‌خواهید یک ترکیب سریع و قابل تفسیر بدون هیچ هزینه آموزشی اضافی داشته باشید، از یک مجموعه رأی‌گیری استفاده کنید. این زمانی ارزشمند است که مدل‌های منفرد دارای دقت متوسط مشابه اما پروفایل‌های خطای متفاوتی باشند — ترکیب آن‌ها سود واقعی را به همراه دارد. رأی‌گیری نرم زمانی ترجیح داده می‌شود که مدل‌های پایه احتمالات کالیبره شده را خروجی دهند. از مجموعه‌های رأی‌گیری به عنوان جایگزینی برای انتخاب مدل مناسب استفاده نکنید: اگر تمام یادگیرنده‌های پایه ضعیف باشند یا خطاهای همبسته داشته باشند، ترکیب آن‌ها کمکی نخواهد کرد. زمانی که تفسیر یک مدل منفرد توسط ذینفعان یا مقررات مورد نیاز است، از آن اجتناب کنید.

محدودیت‌ها و ملاحظات

  • هنگامی که یادگیرنده‌های پایه خطاهای همبسته بالایی دارند، سود حداقل یا غایب است.
  • رأی‌گیری نرم نیازمند این است که تمام یادگیرنده‌های پایه تخمین‌های احتمال کالیبره شده و قابل مقایسه را خروجی دهند.
  • هزینه استنتاج به صورت خطی با تعداد یادگیرنده‌های پایه مقیاس می‌شود؛ مجموعه‌های بزرگ می‌توانند کند باشند.
  • هیچ مکانیزمی برای یادگیری خودکار وزن‌های ترکیبی بهینه وجود ندارد — برخلاف انباشتگی (stacking)، وزن‌ها باید به صورت دستی تنظیم شوند.

شرایط منبع جایگزین بررسی علمی مستقل یا اعتبارسنجی توسط موتور تحلیل نیست.

نقاط قوت

  • پیاده‌سازی ساده: هیچ آموزش متا-یادگیرنده‌ای فراتر از تنظیم مدل‌های پایه لازم نیست.
  • اغلب دقت و استحکام را نسبت به هر یادگیرنده پایه منفرد در صورت متنوع بودن اعضا بهبود می‌بخشد.
  • رأی‌گیری نرم از کالیبراسیون احتمال بهره می‌برد و معمولاً بهتر از رأی‌گیری سخت عمل می‌کند.
  • از خانواده‌های مدل ناهمگن پشتیبانی می‌کند و اجازه ترکیب هر طبقه‌بندی را می‌دهد.
  • افزودن یا حذف یادگیرنده‌های پایه بدون بازآموزی زیرساخت مجموعه آسان است.

کاربردها

  • ترکیب رگرسیون لجستیک، SVM، و مدل‌های مبتنی بر درخت برای پیش‌بینی ریسک بالینی.
  • طبقه‌بندی متن قوی با تجمیع پیش‌بینی‌های چندین تنظیم دقیق مدل زبان.
  • یادگیری ماشین رقابتی (سبک Kaggle) که در آن ترکیب مدل‌های متنوع برتر (top-k) امتیاز جدول امتیازات را بهبود می‌بخشد.
  • تنظیمات تولیدی که در آن‌ها استحکام مجموعه مهم‌تر از سادگی مدل منفرد است.
  • مجموعه پایه قبل از سرمایه‌گذاری تلاش در انباشتگی (stacking) یا تقویت (boosting).

چگونه کار می‌کند

چگونه کار می‌کند

1

مجموعه‌ای از K یادگیرنده پایه — که می‌توانند از خانواده‌های مدل کاملاً متفاوتی باشند، مانند رگرسیون لجستیک، طبقه‌بند k-نزدیک‌ترین همسایه، و درخت تصمیم — هر کدام به طور مستقل بر روی مجموعه آموزشی کامل یا بر روی پیکربندی تنظیم شده خود آموزش داده می‌شوند. تنوع در میان یادگیرنده‌های پایه ضروری است: مدل‌هایی که خطاهای مشابهی دارند، از ترکیب شدن سود کمی می‌برند.

2

در زمان استنتاج، هر یادگیرنده پایه یک پیش‌بینی برای ورودی جدید تولید می‌کند. برای رأی‌گیری سخت، این صرفاً یک برچسب کلاس است؛ برای رأی‌گیری نرم، هر یادگیرنده باید یک بردار از احتمالات کلاس را خروجی دهد، که این الزام را تحمیل می‌کند که همه یادگیرنده‌های پایه انتخاب شده می‌توانند برای انتشار تخمین‌های احتمال معنی‌دار، کالیبره شوند.

3

در رأی‌گیری سخت، مجموعه شمارش می‌کند که چند مدل هر کلاس را پیش‌بینی کرده‌اند و برچسبی را که بیشترین آراء را دریافت کرده است، اختصاص می‌دهد. در موارد تساوی، با یک قانون ثابت (مانند کمترین شاخص کلاس) شکسته می‌شود. این حالت حتی زمانی که یادگیرنده‌های پایه نمی‌توانند احتمالات قابل اعتماد تولید کنند، کار می‌کند.

فرمول
\hat{y} = \arg\max_c \sum_{k=1}^{K} \mathbf{1}[h_k(x)=c]
4

در رأی‌گیری نرم، مجموعه بردارهای احتمال کلاس را در میان تمام یادگیرنده‌های پایه میانگین‌گیری می‌کند (یا میانگین وزنی با استفاده از وزن‌های w_k می‌گیرد) و کلاسی را با بالاترین احتمال میانگین‌گیری شده پیش‌بینی می‌کند. از آنجایی که رأی‌گیری نرم از مقادیر احتمال به جای صرفاً برندگان استفاده می‌کند، معمولاً زمانی که یادگیرنده‌های پایه به خوبی کالیبره شده‌اند، بهتر از رأی‌گیری سخت عمل می‌کند.

فرمول
\hat{y} = \arg\max_c \sum_{k=1}^{K} w_k \, p_k(c \mid x)
5

مجموعه برچسب کلاس برنده و، در حالت رأی‌گیری نرم، بردار احتمال میانگین‌گیری شده را که می‌تواند برای تنظیم آستانه، رتبه‌بندی، یا تشخیص‌های کالیبراسیون در مراحل بعدی استفاده شود، برمی‌گرداند. پس از تنظیم مدل‌های پایه، هیچ مرحله آموزشی اضافی لازم نیست.

دام‌های رایج

  • ترکیب یادگیرنده‌های پایه‌ای که بر روی همان داده‌ها بدون اعتبارسنجی متقابل تنظیم شده‌اند، منجر به تخمین‌های خطای خوش‌بینانه می‌شود.
  • استفاده از رأی‌گیری نرم با خروجی‌های احتمال ضعیف کالیبره شده (مانند مقادیر تصمیم خام SVM) می‌تواند به جای کمک، مضر باشد.
  • انتخاب یادگیرنده‌های پایه‌ای که بیش از حد شبیه هستند — تمام انواع خانواده مدل یکسان — تنوع را از بین می‌برد و محاسبات را هدر می‌دهد.
  • نادیده گرفتن عدم تعادل کلاس: اگر یادگیرنده‌های پایه به صورت فردی متعادل نباشند، رأی‌های آن‌ها به طور جمعی سوگیری کلاس اکثریت را تقویت خواهد کرد.
  • در نظر گرفتن دقت مجموعه رأی‌گیری به عنوان نهایی بدون بررسی اینکه آیا یک مدل منفرد ساده‌تر به همان نتیجه می‌رسد.

پرسش‌های متداول

چند یادگیرنده پایه باید شامل کنم؟

قانون ثابتی وجود ندارد، اما سه تا هفت طبقه‌بند متنوع یک محدوده عملی رایج است. افزودن یادگیرنده‌های بیشتر فراتر از نقطه بازده نزولی، تأخیر استنتاج را افزایش می‌دهد بدون اینکه دقت را به طور معنی‌داری بهبود بخشد.

چه زمانی باید رأی‌گیری نرم را به رأی‌گیری سخت ترجیح دهم؟

هنگامی که تمام یادگیرنده‌های پایه خروجی‌های احتمال خوب کالیبره شده‌ای تولید می‌کنند، از رأی‌گیری نرم استفاده کنید — این معمولاً دقت بالاتری را به همراه دارد زیرا از توزیع احتمال کامل به جای صرفاً کلاس برنده استفاده می‌کند. اگر احتمالات ضعیف کالیبره شده یا در دسترس نباشند، رأی‌گیری سخت ایمن‌تر است.

چگونه وزن‌ها را در رأی‌گیری نرم وزنی انتخاب کنم؟

یک رویکرد ساده، وزن‌دهی به هر مدل بر اساس دقت یا AUC اعتبارسنجی متقابل آن بر روی مجموعه آموزشی است. رویکردهای اصولی‌تر وزن‌ها را از طریق یک مجموعه اعتبارسنجی جدا شده بهینه می‌کنند، اما در صورت کوچک بودن مجموعه اعتبارسنجی، در معرض بیش‌برازش (overfitting) قرار دارند.

مجموعه رأی‌گیری چگونه با انباشتگی (stacking) متفاوت است؟

مجموعه‌های رأی‌گیری خروجی‌های مدل پایه را با قوانین ثابت (اکثریت یا میانگین) ترکیب می‌کنند. انباشتگی یک متا-یادگیرنده را بر روی خروجی‌های مدل پایه آموزش می‌دهد تا ترکیب بهینه را بیاموزد — قدرتمندتر اما پیچیده‌تر و در صورت عدم استفاده صحیح از اعتبارسنجی متقابل، مستعد نشت داده است.

آیا تنوع همیشه مجموعه را بهبود می‌بخشد؟

تنوع ضروری است اما کافی نیست. یادگیرنده‌های پایه باید به صورت فردی نیز دقیق باشند؛ یک مجموعه از طبقه‌بندهای ضعیف و متنوع همچنان می‌تواند عملکرد ضعیفی داشته باشد. هدف، خطاهای متنوع در میان مدل‌های دقیق است.

روش‌های مرتبط

منابع

  1. Kuncheva, L. I. (2004). Combining Pattern Classifiers: Methods and Algorithms. Wiley-Interscience.

    شابک: 978-0-471-21078-8
    کپی شد.
  2. Dietterich, T. G. (2000). Ensemble Methods in Machine Learning. In J. Kittler & F. Roli (Eds.), Multiple Classifier Systems (MCS 2000), Lecture Notes in Computer Science, vol 1857, pp. 1–15. Springer.

    باز کردن مرجع DOI
    کپی شد.