الانتقال إلى المحتوى
العودة إلى نتائج البحث

التصويت التجميعي

قدّمه
Lam & Suen; Kuncheva, L. I. (systematic treatment)
السنة
1990s–2004
النوع
Ensemble (combination of multiple classifiers by vote)
العائلة
Machine learning

هذا النص ترجمة آلية ولم تتم مراجعته بعد. اقرأ النص الأصلي بالإنجليزية

حجم الخط

ماذا تفعل؟

يقوم التصويت التجميعي بتدريب عدة مصنفات متنوعة بشكل مستقل ويجمع تنبؤاتها عن طريق التصويت: التصويت الصارم يختار الفئة التي اختارها معظم النماذج، بينما يقوم التصويت الناعم بمتوسط تقديرات احتمالات فئاتها، اختياريًا بأوزان لكل نموذج. عادةً ما يتفوق الدمج على أي عضو فردي، ولا يتطلب تدريبًا إضافيًا بعد ملاءمة النماذج الأساسية.

الفكرة الحدسية وراء الطريقة

تخيل أن تسأل خمسة أطباء عن تشخيص وتتبع رأي الأغلبية. قد يخطئ كل طبيب بطرق مختلفة، ولكن تجميع أحكامهم يلغي الأخطاء الفردية. يعمل التصويت التجميعي بنفس الطريقة: تفشل النماذج المتنوعة في أمثلة مختلفة، لذا فإن تصويتهم المجمع أكثر موثوقية من أي نموذج فردي. يقوم التصويت الناعم بتوضيح ذلك من خلال السماح للنماذج الأكثر ثقة بالمساهمة بشكل نسبي أكبر في القرار النهائي من خلال درجات احتمالاتها.

التاريخ

تمت دراسة دمج المصنفات عن طريق التصويت بالأغلبية بشكل منهجي منذ أوائل التسعينيات، مع أساس نظري ملحوظ من قبل لام وسوين (1994) وكيتلر وآخرون (1998). قدمت مونوجرافيا لودميلا كونشيفا عام 2004 المعالجة النهائية لدمج مصنفات الأنماط، والتي تغطي التصويت الصارم والناعم، والتصويت المرجح، ودور التنوع. اكتسب التصويت الناعم شعبية عملية من خلال VotingClassifier في scikit-learn، مما جعله من السهل دمج المقدرات التعسفية في استدعاء واجهة برمجة تطبيقات واحد.

متى تُستخدم

استخدم التصويت التجميعي عندما يكون لديك مصنفان متنوعان مدربان بالفعل وتريد دمجًا سريعًا وقابلًا للتفسير دون تكلفة تدريب إضافية. إنه ذو قيمة خاصة عندما تكون النماذج الفردية لها دقة متوسطة متشابهة ولكن ملفات تعريف أخطاء مختلفة - يؤدي دمجها إلى مكاسب حقيقية. التصويت الناعم مفضل عندما تصدر النماذج الأساسية احتمالات معايرة. لا تستخدم التصويت التجميعي كبديل لاختيار النموذج المناسب: إذا كان جميع المتعلمين الأساسيين ضعفاء أو يرتكبون أخطاء مترابطة، فإن دمجهم لن يساعد. تجنب ذلك عندما يتطلب أصحاب المصلحة أو اللوائح قابلية تفسير نموذج واحد.

الحدود والاعتبارات

  • الفوائد ضئيلة أو غائبة عندما يرتكب المتعلمون الأساسيون أخطاء مترابطة للغاية.
  • يتطلب التصويت الناعم أن تصدر جميع المتعلمين الأساسيين تقديرات احتمالات معايرة وقابلة للمقارنة.
  • تتكلف الاستدلال خطيًا مع عدد المتعلمين الأساسيين؛ يمكن أن تكون التجميعات الكبيرة بطيئة.
  • لا توجد آلية لتعلم أوزان الدمج المثلى تلقائيًا - على عكس التكديس، يجب تعيين الأوزان يدويًا.

لا تغني شروط المصدر عن المراجعة العلمية المستقلة أو التحقق بواسطة محرك تحليل.

نقاط القوة

  • سهل التنفيذ: لا حاجة لتدريب متعلم ميتا يتجاوز ملاءمة النماذج الأساسية.
  • غالبًا ما يحسن الدقة والمتانة على أي متعلم أساسي فردي عندما يكون الأعضاء متنوعين.
  • يستغل التصويت الناعم معايرة الاحتمالات، ويتفوق عادةً على التصويت الصارم.
  • يدعم عائلات النماذج غير المتجانسة، مما يسمح بأي مزيج من المصنفات.
  • سهل إضافة أو إزالة المتعلمين الأساسيين دون إعادة تدريب البنية التحتية للتجميع.

التطبيقات

  • دمج الانحدار اللوجستي، و SVM، والنماذج القائمة على الأشجار للتنبؤ بالمخاطر السريرية.
  • تصنيف النصوص القوي عن طريق تجميع التنبؤات من العديد من نماذج اللغة الدقيقة.
  • مسابقات التعلم الآلي (على غرار Kaggle) حيث يؤدي دمج أفضل K نماذج متنوعة إلى تحسين درجة لوحة المتصدرين.
  • إعدادات الإنتاج حيث تكون متانة التجميع أكثر أهمية من بساطة النموذج الفردي.
  • تجميع أساسي قبل استثمار الجهد في التكديس أو التعزيز.

كيف يعمل

كيف يعمل

1

يتم تدريب مجموعة من K متعلمين أساسيين - والتي قد تكون من عائلات نماذج مختلفة تمامًا، مثل الانحدار اللوجستي، ومصنف k-أقرب جار، وشجرة القرار - كل منها بشكل مستقل على مجموعة التدريب الكاملة أو على تكوينها المضبوط الخاص بها. التنوع بين المتعلمين الأساسيين ضروري: النماذج التي ترتكب أخطاء متشابهة تستفيد قليلاً من دمجها.

2

في وقت الاستدلال، ينتج كل متعلم أساسي تنبؤًا للمدخل الجديد. بالنسبة للتصويت الصارم، يكون هذا ببساطة تسمية فئة؛ بالنسبة للتصويت الناعم، يجب على كل متعلم إخراج متجه احتمالات الفئات، مما يفرض قيدًا على أنه يمكن معايرة جميع المتعلمين الأساسيين المختارين لإصدار تقديرات احتمالات ذات معنى.

3

في التصويت الصارم، يحسب التجميع عدد النماذج التي تنبأت بكل فئة ويعين التسمية التي حصلت على أغلبية الأصوات. يتم كسر التعادل بقاعدة ثابتة (على سبيل المثال، أقل فهرس فئة). يعمل هذا الوضع حتى عندما لا يتمكن المتعلمون الأساسيون من إنتاج احتمالات موثوقة.

الصيغة
\hat{y} = \arg\max_c \sum_{k=1}^{K} \mathbf{1}[h_k(x)=c]
4

في التصويت الناعم، يقوم التجميع بحساب متوسط (أو يأخذ متوسطًا مرجحًا باستخدام الأوزان w_k) متجهات احتمالات الفئات عبر جميع المتعلمين الأساسيين ويتنبأ بالفئة ذات الاحتمالية المتوسطة الأعلى. نظرًا لأن التصويت الناعم يستغل مقادير الاحتمالات بدلاً من مجرد الفائزين، فإنه عادةً ما يتفوق على التصويت الصارم عندما تكون المتعلمون الأساسيون معايرين جيدًا.

الصيغة
\hat{y} = \arg\max_c \sum_{k=1}^{K} w_k \, p_k(c \mid x)
5

يعيد التجميع تسمية الفئة الفائزة، وفي وضع التصويت الناعم، متجه الاحتمالات المتوسط الذي يمكن استخدامه لضبط العتبة، أو الترتيب، أو تشخيصات المعايرة اللاحقة. لا يلزم خطوة تدريب إضافية بمجرد ملاءمة النماذج الأساسية.

الأخطاء الشائعة

  • دمج المتعلمين الأساسيين الذين تم ضبطهم على نفس البيانات دون التحقق المتقاطع يؤدي إلى تقديرات أخطاء متفائلة.
  • استخدام التصويت الناعم مع مخرجات احتمالات ضعيفة المعايرة (على سبيل المثال، قيم قرار SVM الخام) يمكن أن يضر بدلاً من أن ينفع.
  • اختيار المتعلمين الأساسيين المتشابهين جدًا - جميع المتغيرات من نفس عائلة النموذج - يلغي التنوع ويضيع الحساب.
  • تجاهل عدم توازن الفئات: إذا لم تكن المتعلمون الأساسيون متوازنين فرديًا، فإن أصواتهم ستضخم بشكل جماعي تحيز الفئة الأغلبية.
  • معاملة دقة التصويت التجميعي على أنها نهائية دون التحقق مما إذا كان نموذج واحد أبسط يحقق نفس النتيجة.

الأسئلة الشائعة

كم عدد المتعلمين الأساسيين الذين يجب تضمينهم؟

لا توجد قاعدة ثابتة، ولكن ثلاثة إلى سبعة مصنفات متنوعة هي نطاق عملي شائع. يؤدي إضافة المزيد من المتعلمين بعد نقطة تناقص العوائد إلى زيادة زمن استجابة الاستدلال دون تحسين الدقة بشكل كبير.

متى يجب أن أفضل التصويت الناعم على التصويت الصارم؟

استخدم التصويت الناعم عندما تصدر جميع المتعلمين الأساسيين مخرجات احتمالات معايرة جيدًا - فعادةً ما ينتج عنه دقة أعلى لأنه يستخدم توزيع الاحتمالات الكامل بدلاً من مجرد الفئة الفائزة. إذا كانت الاحتمالات ضعيفة المعايرة أو غير متوفرة، فإن التصويت الصارم أكثر أمانًا.

كيف أختار الأوزان في التصويت الناعم المرجح؟

نهج بسيط هو وزن كل نموذج حسب دقته المتقاطعة أو AUC على مجموعة التدريب. تقوم الأساليب الأكثر مبدأً بتحسين الأوزان عبر مجموعة تحقق منفصلة، ولكنها تخاطر بالإفراط في الملاءمة إذا كانت مجموعة التحقق صغيرة.

كيف يختلف التصويت التجميعي عن التكديس؟

تجمع تجميعات التصويت مخرجات النماذج الأساسية بقواعد ثابتة (الأغلبية أو المتوسط). يقوم التكديس بتدريب متعلم ميتا على مخرجات النماذج الأساسية لتعلم الدمج الأمثل - أكثر قوة ولكنه أكثر تعقيدًا وعرضة لتسرب البيانات إذا لم يتم استخدام التحقق المتقاطع بشكل صحيح.

هل التنوع يحسن التجميع دائمًا؟

التنوع ضروري ولكنه ليس كافيًا. يجب أن تكون المتعلمون الأساسيون دقيقين بشكل فردي أيضًا؛ يمكن لمجموعة من المصنفات الضعيفة والمتنوعة أن لا تزال تؤدي بشكل سيء. الهدف هو أخطاء متنوعة بين النماذج الدقيقة.

طرق ذات صلة

المصادر

  1. Kuncheva, L. I. (2004). Combining Pattern Classifiers: Methods and Algorithms. Wiley-Interscience.

    ردمك: 978-0-471-21078-8
    تم النسخ.
  2. Dietterich, T. G. (2000). Ensemble Methods in Machine Learning. In J. Kittler & F. Roli (Eds.), Multiple Classifier Systems (MCS 2000), Lecture Notes in Computer Science, vol 1857, pp. 1–15. Springer.

    افتح مرجع DOI
    تم النسخ.