Zum Inhalt springen
Zurück zu den Suchergebnissen

Voting Ensemble

Eingeführt von
Lam & Suen; Kuncheva, L. I. (systematic treatment)
Jahr
1990s–2004
Typ
Ensemble (combination of multiple classifiers by vote)
Familie
Machine learning

Dieser Text ist eine maschinelle Übersetzung und wurde noch nicht geprüft. Original auf Englisch lesen

Schriftgröße

Was leistet sie?

Ein Voting Ensemble trainiert mehrere diverse Klassifikatoren unabhängig voneinander und kombiniert deren Vorhersagen durch eine Abstimmung: Hard Voting wählt die Klasse, die von den meisten Modellen gewählt wird, während Soft Voting deren Klassenwahrscheinlichkeits-Schätzungen mittelt, optional mit gewichteten Modellen.

Die Kombination übertrifft normalerweise jedes einzelne Mitglied und erfordert kein zusätzliches Training, nachdem die Basismodelle angepasst wurden.

Die Intuition hinter der Methode

Stellen Sie sich vor, Sie fragen fünf Ärzte nach einer Diagnose und entscheiden sich für die Mehrheitsmeinung. Jeder Arzt kann auf unterschiedliche Weise Fehler machen, aber die Bündelung ihrer Urteile hebt idiosynkratische Fehler auf. Ein Voting Ensemble funktioniert auf die gleiche Weise: Diverse Modelle versagen bei unterschiedlichen Beispielen, daher ist ihre kombinierte Stimme zuverlässiger als jedes einzelne Modell. Soft Voting schärft dies, indem es zuversichtlicheren Modellen ermöglicht, durch ihre Wahrscheinlichkeitsschätzungen proportional stärker zur endgültigen Entscheidung beizutragen.

Geschichte

Die Kombination von Klassifikatoren durch Mehrheitsentscheid wurde seit den frühen 1990er Jahren systematisch untersucht, mit bemerkenswerter theoretischer Begründung durch Lam und Suen (1994) und Kittler et al. (1998). Ludmila Kunchevas Monographie von 2004 bot die definitive Behandlung der Kombination von Musterklassifikatoren, die Hard- und Soft-Voting, gewichtetes Voting und die Rolle der Diversität abdeckt. Soft Voting gewann praktische Popularität durch scikit-learns VotingClassifier, der die einfache Kombination beliebiger Schätzer in einem einzigen API-Aufruf ermöglichte.

Wann wird sie eingesetzt?

Verwenden Sie ein Voting Ensemble, wenn Sie zwei oder mehr bereits trainierte, diverse Klassifikatoren haben und eine schnelle, interpretierbare Kombination ohne zusätzliche Trainingskosten wünschen. Es ist besonders wertvoll, wenn einzelne Modelle eine ähnliche durchschnittliche Genauigkeit, aber unterschiedliche Fehlerprofile aufweisen – die Kombination liefert echte Gewinne. Soft Voting ist vorzuziehen, wenn Basismodelle kalibrierte Wahrscheinlichkeiten ausgeben. Verwenden Sie keine Voting Ensembles als Ersatz für eine ordnungsgemäße Modellauswahl: Wenn alle Basis-Lerner schwach sind oder korrelierte Fehler machen, hilft deren Kombination nicht. Vermeiden Sie dies, wenn die Interpretierbarkeit eines einzelnen Modells von Stakeholdern oder Vorschriften gefordert wird.

Grenzen und Hinweise

  • Gewinne sind minimal oder fehlen, wenn Basis-Lerner stark korrelierte Fehler machen.
  • Soft Voting erfordert, dass alle Basis-Lerner kalibrierte, vergleichbare Wahrscheinlichkeitsschätzungen ausgeben.
  • Die Inferenzkosten skalieren linear mit der Anzahl der Basis-Lerner; große Ensembles können langsam sein.
  • Kein Mechanismus zum automatischen Erlernen optimaler Kombinationsgewichte – im Gegensatz zu Stacking müssen Gewichte manuell festgelegt werden.

Die Bedingungen der Quelle ersetzen weder eine unabhängige wissenschaftliche Prüfung noch die Validierung durch eine Analyse-Engine.

Stärken

  • Einfach zu implementieren: Kein Meta-Lerner-Training über das Anpassen der Basismodelle hinaus erforderlich.
  • Verbessert oft die Genauigkeit und Robustheit gegenüber jedem einzelnen Basis-Lerner, wenn die Mitglieder divers sind.
  • Soft Voting nutzt die Wahrscheinlichkeitskalibrierung und übertrifft typischerweise Hard Voting.
  • Unterstützt heterogene Modellfamilien, was jede Kombination von Klassifikatoren ermöglicht.
  • Einfaches Hinzufügen oder Entfernen von Basis-Lernern ohne erneutes Trainieren der Ensemble-Infrastruktur.

Anwendungen

  • Kombination von logistischer Regression, SVM und baumbasierten Modellen zur klinischen Risikovorhersage.
  • Robuste Textklassifizierung durch Bündelung von Vorhersagen mehrerer Fine-Tunes von Sprachmodellen.
  • Wettbewerbsorientiertes maschinelles Lernen (Kaggle-Stil), bei dem die Kombination von Top-k diversen Modellen die Bestenlisten-Ergebnisse verbessert.
  • Produktionsumgebungen, in denen die Robustheit des Ensembles wichtiger ist als die Einfachheit eines einzelnen Modells.
  • Baseline-Ensemble, bevor Aufwand in Stacking oder Boosting investiert wird.

So funktioniert es

So funktioniert es

1

Eine Menge von K Basis-Lernern – die vollständig unterschiedlichen Modellfamilien angehören können, wie z. B. eine logistische Regression, ein k-nächste-Nachbarn-Klassifikator und ein Entscheidungsbaum – werden jeweils unabhängig auf dem vollständigen Trainingsdatensatz oder auf ihrer eigenen abgestimmten Konfiguration trainiert. Diversität unter den Basis-Lernern ist essentiell: Modelle, die ähnliche Fehler machen, gewinnen durch die Kombination wenig.

2

Zur Inferenzzeit produziert jeder Basis-Lerner eine Vorhersage für den neuen Input. Für Hard Voting ist dies einfach ein Klassenlabel; für Soft Voting muss jeder Lerner einen Vektor von Klassenwahrscheinlichkeiten ausgeben, was die Einschränkung auferlegt, dass alle ausgewählten Basis-Lerner kalibriert werden können, um aussagekräftige Wahrscheinlichkeitsschätzungen auszugeben.

3

Beim Hard Voting zählt das Ensemble, wie viele Modelle jede Klasse vorhergesagt haben, und weist das Label zu, das die Mehrheit der Stimmen erhalten hat. Bei Stimmengleichheit wird nach einer festen Regel entschieden (z. B. niedrigster Klassenindex). Dieser Modus funktioniert auch dann, wenn Basis-Lerner keine zuverlässigen Wahrscheinlichkeiten erzeugen können.

Formel
\hat{y} = \arg\max_c \sum_{k=1}^{K} \mathbf{1}[h_k(x)=c]
4

Beim Soft Voting mittelt das Ensemble die Klassenwahrscheinlichkeits-Vektoren über alle Basis-Lerner (oder nimmt ein gewichtetes Mittel unter Verwendung der Gewichte w_k) und sagt die Klasse mit der höchsten gemittelten Wahrscheinlichkeit voraus. Da Soft Voting die Wahrscheinlichkeitsstärken und nicht nur die Gewinner ausnutzt, übertrifft es typischerweise Hard Voting, wenn die Basis-Lerner gut kalibriert sind.

Formel
\hat{y} = \arg\max_c \sum_{k=1}^{K} w_k \, p_k(c \mid x)
5

Das Ensemble gibt das gewinnende Klassenlabel und im Soft-Voting-Modus den gemittelten Wahrscheinlichkeitsvektor zurück, der für Schwellenwertanpassung, Rangfolge oder Kalibrierungsdiagnostik nachgelagert verwendet werden kann. Kein zusätzlicher Trainingsschritt ist erforderlich, sobald die Basismodelle angepasst sind.

Häufige Fallstricke

  • Die Kombination von Basis-Lernern, die auf denselben Daten ohne Kreuzvalidierung abgestimmt wurden, führt zu optimistischen Fehlerschätzungen.
  • Die Verwendung von Soft Voting mit schlecht kalibrierten Wahrscheinlichkeitsausgaben (z. B. rohe SVM-Entscheidungswerte) kann eher schaden als nützen.
  • Die Auswahl von Basis-Lernern, die zu ähnlich sind – alle Varianten derselben Modellfamilie – eliminiert Diversität und verschwendet Rechenleistung.
  • Ignorieren von Klassenungleichgewicht: Wenn Basis-Lerner individuell nicht ausgewogen sind, verstärken ihre Stimmen kollektiv den Bias der Mehrheitsklasse.
  • Die Genauigkeit des Voting Ensembles als endgültig zu betrachten, ohne zu prüfen, ob ein einfacheres Einzelmodell dasselbe Ergebnis erzielt.

Häufig gestellte Fragen

Wie viele Basis-Lerner sollte ich einbeziehen?

Es gibt keine feste Regel, aber drei bis sieben diverse Klassifikatoren sind ein üblicher praktischer Bereich. Das Hinzufügen weiterer Lerner über einen Punkt abnehmender Erträge hinaus erhöht die Inferenzlatenz, ohne die Genauigkeit sinnvoll zu verbessern.

Wann sollte ich Soft Voting gegenüber Hard Voting bevorzugen?

Verwenden Sie Soft Voting, wenn alle Basis-Lerner gut kalibrierte Wahrscheinlichkeitsausgaben erzeugen – es liefert typischerweise eine höhere Genauigkeit, da es die gesamte Wahrscheinlichkeitsverteilung und nicht nur die gewinnende Klasse nutzt. Wenn Wahrscheinlichkeiten schlecht kalibriert oder nicht verfügbar sind, ist Hard Voting sicherer.

Wie wähle ich die Gewichte im gewichteten Soft Voting?

Ein einfacher Ansatz ist, jedes Modell nach seiner kreuzvalidierten Genauigkeit oder AUC auf dem Trainingsdatensatz zu gewichten. Fundiertere Ansätze optimieren die Gewichte über einen zurückgehaltenen Validierungsdatensatz, bergen aber das Risiko von Overfitting, wenn der Validierungsdatensatz klein ist.

Wie unterscheidet sich Voting Ensemble von Stacking?

Voting Ensembles kombinieren Basismodell-Ausgaben mit festen Regeln (Mehrheit oder Durchschnitt). Stacking trainiert einen Meta-Lerner auf den Basismodell-Ausgaben, um die optimale Kombination zu lernen – leistungsfähiger, aber komplexer und anfällig für Datenlecks, wenn die Kreuzvalidierung nicht korrekt verwendet wird.

Verbessert Diversität immer das Ensemble?

Diversität ist notwendig, aber nicht hinreichend. Basis-Lerner müssen auch individuell genau sein; ein Ensemble schwacher, diverser Klassifikatoren kann immer noch schlecht abschneiden. Das Ziel sind diverse Fehler bei genauen Modellen.

Verwandte Methoden

Quellen

  1. Kuncheva, L. I. (2004). Combining Pattern Classifiers: Methods and Algorithms. Wiley-Interscience.

    ISBN: 978-0-471-21078-8
    Kopiert.
  2. Dietterich, T. G. (2000). Ensemble Methods in Machine Learning. In J. Kittler & F. Roli (Eds.), Multiple Classifier Systems (MCS 2000), Lecture Notes in Computer Science, vol 1857, pp. 1–15. Springer.

    DOI-Referenz öffnen
    Kopiert.