Skip to content
بازگشت به نتایج جست‌وجو

رأی اکثریت

معرفی‌شده توسط
Leo Breiman
سال
1996
نوع
voting aggregation
خانواده
Ensemble

این متن ترجمه ماشینی است و هنوز بازبینی نشده است. متن اصلی را به انگلیسی بخوانید

اندازه قلم

چه کاری انجام می‌دهد؟

رأی اکثریت یک روش گروهی (ensemble) است که با انتخاب کلاسی که بیشترین رأی را کسب می‌کند، پیش‌بینی‌های چندین طبقه‌بند پایه را ترکیب می‌کند. هر طبقه‌بند پایه یک رأی برای کلاس پیش‌بینی شده می‌اندازد و پیش‌بینی نهایی، کلاسی است که اکثریت (اکثریت نسبی) را دارد. این رویکرد در دهه ۱۹۹۰ توسط لئو بریمن و همکارانش به عنوان راهی ساده اما مؤثر برای بهبود دقت طبقه‌بندی رسمی شد.

شهود پشت روش

ایده اصلی این است که ترکیب طبقه‌بندهای ضعیف متنوع می‌تواند از طریق رأی‌گیری دموکراتیک، تصمیمی جمعی قوی‌تر تولید کند. اگر مدل‌های فردی ناقص باشند اما خطاهای متفاوتی داشته باشند، رأی اکثریت طبقه‌بندی‌های نادرست ایزوله را فیلتر می‌کند. این روش زمانی بهترین عملکرد را دارد که طبقه‌بندهای پایه مستقل باشند و دقت متوسطی داشته باشند - بهتر از حدس تصادفی اما نه کامل. قدرت از اختلاف نظر ناشی می‌شود: هنگامی که مدل‌ها اختلاف نظر دارند، تصمیم جمع قابل اعتمادتر از هر مدل منفرد است.

تاریخ

رأی اکثریت در اوایل دهه ۱۹۹۰ ظهور کرد، همزمان با افزایش محبوبیت یادگیری گروهی. کار بریمن بر روی بگینگ (۱۹۹۶) ایده ترکیب چندین مدل را محبوب کرد. کونچوا (۲۰۰۴) نظریه جامعی در مورد روش‌های ترکیب گروهی ارائه داد. رأی سخت (Hard voting) همچنان یکی از ساده‌ترین و شهودی‌ترین استراتژی‌های گروهی است و اغلب به عنوان یک خط پایه برای روش‌های پیچیده‌تر مانند استکینگ و بوستینگ عمل می‌کند.

چه زمانی استفاده شود

هنگامی که چندین طبقه‌بند پایه در دسترس دارید و به پیش‌بینی‌های گروهی ساده و قابل تفسیر نیاز دارید، از رأی اکثریت استفاده کنید. این روش برای طبقه‌بندی چند کلاسه به خوبی کار می‌کند و فرض می‌کند طبقه‌بندهای پایه نسبتاً مستقل هستند. اگر همه مدل‌های پایه تمایل به اشتباهات یکسان داشته باشند یا همبستگی بالایی داشته باشند، کمتر مؤثر است. اگر نیاز به وزن‌دهی به یادگیرنده‌های پایه بر اساس دقت فردی آن‌ها دارید، روش‌های گروهی دیگر (بوستینگ، استکینگ) را ترجیح دهید.

محدودیت‌ها و ملاحظات

  • قابلیت اطمینان طبقه‌بند را نادیده می‌گیرد - هر مدل بدون توجه به دقت، یک رأی برابر دریافت می‌کند.
  • اگر طبقه‌بندهای پایه همبستگی بالایی داشته باشند یا همه خطاهای سیستمی مرتکب شوند، بی‌اثر است.
  • تساوی‌ها می‌توانند در تنظیمات چند کلاسه رخ دهند و نیاز به قوانین دلخواه برای شکستن تساوی دارند.
  • عملکرد به شدت به تنوع طبقه‌بند پایه و کیفیت فردی بستگی دارد.

شرایط منبع جایگزین بررسی علمی مستقل یا اعتبارسنجی توسط موتور تحلیل نیست.

نقاط قوت

  • پیاده‌سازی و درک آن ساده است - قانون رأی‌گیری مستقیم نیازی به تنظیم ندارد.
  • از نظر محاسباتی کارآمد است - زمان پیش‌بینی به صورت خطی با تعداد طبقه‌بندهای پایه مقیاس می‌شود.
  • در برابر پیش‌بینی‌های پرت (outlier) زمانی که اکثریت واضح است، مقاوم است.
  • با هر نوع طبقه‌بند پایه کار می‌کند (گروه‌های ناهمگن ممکن است).

کاربردها

  • تشخیص پزشکی: ترکیب پیش‌بینی‌های چندین مدل پشتیبانی تصمیم بالینی برای کاهش بایاس مدل فردی.
  • تشخیص هرزنامه (Spam detection): تجمیع تصمیمات از فیلترهای مبتنی بر قانون، نایو بیز (Naive Bayes) و طبقه‌بندهای SVM.
  • ارزیابی ریسک اعتباری: گروهی از درخت‌های تصمیم و مدل‌های رگرسیون لجستیک که بر روی تأیید وام رأی می‌دهند.
  • طبقه‌بندی تصویر: چندین شبکه عصبی کانولوشنی که بر روی دسته اشیاء در بینایی کامپیوتر رأی می‌دهند.
  • تحلیل احساسات: ترکیب خروجی مدل‌های LSTM، ترنسفورمر (transformer) و مدل‌های با ویژگی‌های دست‌ساز بر روی بررسی‌های متنی.

چگونه کار می‌کند

چگونه کار می‌کند

1

تعداد K طبقه‌بند پایه مستقل (مانند درخت‌های تصمیم، رگرسیون لجستیک، شبکه‌های عصبی) را بر روی نمونه‌های یکسان یا بوت‌استرپ شده از داده‌های آموزشی، آموزش دهید.

2

برای یک نمونه جدید، آن را از طریق هر یک از K طبقه‌بند آموزش‌دیده عبور دهید و پیش‌بینی‌های فردی آن‌ها را جمع‌آوری کنید.

3

آرای هر کلاس را بشمارید و نمونه جدید را به کلاسی با بیشترین رأی اختصاص دهید. در صورت تساوی، از یک قانون شکستن تساوی (مانند انتخاب تصادفی یا اولویت از پیش تعیین شده) استفاده کنید.

دام‌های رایج

  • آموزش همه طبقه‌بندهای پایه بر روی داده‌های یکسان، تنوع را کاهش می‌دهد و آرا زائد می‌شوند.
  • گنجاندن طبقه‌بندهای ضعیف یا بایاس شده، قدرت رأی‌دهی مدل‌های دقیق را رقیق می‌کند.
  • فرض کردن اینکه رأی اکثریت بدون بررسی کافی بودن استقلال مدل‌های پایه کار خواهد کرد.
  • نادیده گرفتن مدیریت استراتژیک تساوی‌ها - شکستن تصادفی تساوی می‌تواند باعث ناپایداری شود.

پرسش‌های متداول

چگونه تعداد طبقه‌بندهای پایه را انتخاب کنم؟

با ۵ تا ۱۰ طبقه‌بند شروع کنید؛ افزودن بیشتر می‌تواند پایداری را بهبود بخشد اما با بازده نزولی. سود دقت را در برابر هزینه محاسباتی متعادل کنید. طبقه‌بندهای بیشتر زمانی مفید هستند که متنوع باشند؛ مدل‌های زائد ارزشی اضافه نمی‌کنند.

اگر تعداد طبقه‌بندهای پایه زوج باشد و تساوی رخ دهد چه؟

قبل از آموزش، یک قانون شکستن تساوی تعریف کنید: به کلاسی با بالاترین اطمینان پیش‌بینی تجمعی اختصاص دهید، از انتخاب تصادفی استفاده کنید، یا به یک کلاس پیش‌فرض از پیش تعیین شده اختصاص دهید. شکستن تساوی سازگار، تکرارپذیری را تضمین می‌کند.

آیا می‌توانم از رأی اکثریت با مسائل رگرسیون استفاده کنم؟

رأی سخت برای طبقه‌بندی طراحی شده است. برای رگرسیون، به جای آن از میانگین‌گیری نرم (میانگین پیش‌بینی‌ها) یا میانگین‌گیری وزن‌دار استفاده کنید.

آیا تنوع طبقه‌بند پایه عملکرد بهتر گروهی را تضمین می‌کند؟

تنوع کمک می‌کند اما کافی نیست. طبقه‌بندهای پایه باید هم در الگوهای خطا متنوع باشند و هم به صورت فردی بهتر از حدس تصادفی باشند. تنوع را به صورت تجربی از طریق همبستگی خطای آموزش اندازه‌گیری کنید.

روش‌های مرتبط

منابع

  1. Breiman, L. (1996). Bagging predictors. Machine Learning, 24(2), 123-140.

    باز کردن مرجع DOI
    کپی شد.
  2. Kuncheva, L. I. (2004). Combining Pattern Classifiers: Methods and Algorithms. Wiley-Interscience.

    باز کردن مرجع انتشار
    کپی شد.