Skip to content
Retour aux résultats

Ensemble par vote

Introduite par
Lam & Suen; Kuncheva, L. I. (systematic treatment)
Année
1990s–2004
Type
Ensemble (combination of multiple classifiers by vote)
Famille
Machine learning

Ce texte est une traduction automatique et n’a pas encore été relu. Lire l’original en anglais

Taille de police

À quoi sert-elle ?

Un ensemble par vote entraîne plusieurs classifieurs diversifiés indépendamment et combine leurs prédictions par un vote : le vote dur sélectionne la classe choisie par la majorité des modèles, tandis que le vote souple moyenne leurs estimations de probabilité de classe, éventuellement avec des poids par modèle.

La combinaison surpasse généralement tout membre individuel et ne nécessite aucune formation supplémentaire une fois les modèles de base ajustés.

L’intuition derrière la méthode

Imaginez demander à cinq médecins un diagnostic et de suivre l'opinion de la majorité. Chaque médecin peut se tromper de différentes manières, mais la mise en commun de leurs verdicts annule les erreurs idiosyncratiques. Un ensemble par vote fonctionne de la même manière : des modèles diversifiés échouent sur différents exemples, de sorte que leur vote combiné est plus fiable que n'importe quel modèle unique. Le vote souple affine cela en permettant aux modèles les plus confiants de contribuer proportionnellement davantage à la décision finale par le biais de leurs scores de probabilité.

Histoire

La combinaison de classifieurs par vote majoritaire a été étudiée systématiquement dès le début des années 1990, avec des bases théoriques notables par Lam et Suen (1994) et Kittler et al. (1998). La monographie de Ludmila Kuncheva en 2004 a fourni le traitement définitif de la combinaison de classifieurs de motifs, couvrant le vote dur et souple, le vote pondéré, et le rôle de la diversité. Le vote souple a gagné en popularité pratique grâce au VotingClassifier de scikit-learn, qui a rendu simple la combinaison d'estimateurs arbitraires en un seul appel d'API.

Quand l’utiliser

Utilisez un ensemble par vote lorsque vous avez deux classifieurs diversifiés déjà entraînés ou plus et que vous souhaitez une combinaison rapide et interprétable sans coût de formation supplémentaire. Il est particulièrement précieux lorsque les modèles individuels ont une précision moyenne similaire mais des profils d'erreur différents — leur combinaison apporte de réels gains. Le vote souple est préférable lorsque les modèles de base produisent des probabilités calibrées. N'utilisez pas les ensembles par vote comme substitut à une sélection de modèle appropriée : si tous les apprenants de base sont faibles ou font des erreurs corrélées, leur combinaison n'aidera pas. À éviter lorsque l'interprétabilité d'un modèle unique est requise par les parties prenantes ou la réglementation.

Limites et points d’attention

  • Les gains sont minimes ou absents lorsque les apprenants de base font des erreurs très corrélées.
  • Le vote souple nécessite que tous les apprenants de base produisent des estimations de probabilité calibrées et comparables.
  • Le coût d'inférence évolue linéairement avec le nombre d'apprenants de base ; les grands ensembles peuvent être lents.
  • Aucun mécanisme pour apprendre automatiquement les poids de combinaison optimaux — contrairement au stacking, les poids doivent être définis manuellement.

Les conditions de la source ne remplacent ni une revue scientifique indépendante ni la validation par un moteur d’analyse.

Points forts

  • Simple à mettre en œuvre : aucune formation de méta-apprenant n'est nécessaire au-delà de l'ajustement des modèles de base.
  • Améliore souvent la précision et la robustesse par rapport à tout apprenant de base unique lorsque les membres sont diversifiés.
  • Le vote souple exploite la calibration des probabilités, surpassant généralement le vote dur.
  • Prend en charge les familles de modèles hétérogènes, permettant toute combinaison de classifieurs.
  • Facile d'ajouter ou de supprimer des apprenants de base sans réentraîner l'infrastructure de l'ensemble.

Applications

  • Combinaison de régression logistique, SVM et modèles basés sur des arbres pour la prédiction de risque clinique.
  • Classification de texte robuste en mettant en commun les prédictions de plusieurs affinages de modèles de langue.
  • Apprentissage automatique de compétition (style Kaggle) où la combinaison des k meilleurs modèles diversifiés améliore le score du classement.
  • Paramètres de production où la robustesse de l'ensemble est plus importante que la simplicité d'un modèle unique.
  • Ensemble de base avant d'investir des efforts dans le stacking ou le boosting.

Comment ça marche

Comment ça marche

1

Un ensemble de K apprenants de base — qui peuvent être de familles de modèles entièrement différentes, telles qu'une régression logistique, un classifieur k-plus proches voisins, et un arbre de décision — sont chacun entraînés indépendamment sur l'ensemble d'entraînement complet ou sur leur propre configuration ajustée. La diversité parmi les apprenants de base est essentielle : les modèles qui font des erreurs similaires n'apportent que peu d'avantages lorsqu'ils sont combinés.

2

Au moment de l'inférence, chaque apprenant de base produit une prédiction pour la nouvelle entrée. Pour le vote dur, il s'agit simplement d'une étiquette de classe ; pour le vote souple, chaque apprenant doit produire un vecteur de probabilités de classe, ce qui impose la contrainte que tous les apprenants de base choisis puissent être calibrés pour émettre des estimations de probabilité significatives.

3

En vote dur, l'ensemble compte combien de modèles ont prédit chaque classe et attribue l'étiquette qui a reçu la pluralité des votes. Les égalités sont résolues par une règle fixe (par exemple, l'indice de classe le plus bas). Ce mode fonctionne même lorsque les apprenants de base ne peuvent pas produire de probabilités fiables.

Formule
\hat{y} = \arg\max_c \sum_{k=1}^{K} \mathbf{1}[h_k(x)=c]
4

En vote souple, l'ensemble moyenne (ou prend une moyenne pondérée à l'aide des poids w_k) les vecteurs de probabilités de classe sur tous les apprenants de base et prédit la classe avec la probabilité moyenne la plus élevée. Parce que le vote souple exploite les magnitudes de probabilité plutôt que seulement les gagnants, il surpasse généralement le vote dur lorsque les apprenants de base sont bien calibrés.

Formule
\hat{y} = \arg\max_c \sum_{k=1}^{K} w_k \, p_k(c \mid x)
5

L'ensemble renvoie l'étiquette de classe gagnante et, en mode vote souple, le vecteur de probabilité moyen qui peut être utilisé pour l'ajustement du seuil, le classement ou les diagnostics de calibration en aval. Aucune étape de formation supplémentaire n'est requise une fois les modèles de base ajustés.

Pièges courants

  • La combinaison d'apprenants de base qui ont été ajustés sur les mêmes données sans validation croisée conduit à des estimations d'erreur optimistes.
  • L'utilisation du vote souple avec des sorties de probabilité mal calibrées (par exemple, les valeurs de décision brutes des SVM) peut nuire plutôt qu'aider.
  • La sélection d'apprenants de base trop similaires — toutes des variantes de la même famille de modèles — élimine la diversité et gaspille des calculs.
  • Ignorer le déséquilibre des classes : si les apprenants de base ne sont pas équilibrés individuellement, leurs votes amplifieront collectivement le biais de la classe majoritaire.
  • Traiter la précision de l'ensemble par vote comme finale sans vérifier si un modèle unique plus simple atteint le même résultat.

Questions fréquentes

Combien d'apprenants de base devrais-je inclure ?

Il n'y a pas de règle fixe, mais trois à sept classifieurs diversifiés constituent une plage pratique courante. L'ajout de plus d'apprenants au-delà d'un point de rendements décroissants augmente la latence d'inférence sans améliorer significativement la précision.

Quand devrais-je préférer le vote souple au vote dur ?

Utilisez le vote souple lorsque tous les apprenants de base produisent des sorties de probabilité bien calibrées — il donne généralement une précision plus élevée car il utilise la distribution de probabilité complète plutôt que seulement la classe gagnante. Si les probabilités sont mal calibrées ou indisponibles, le vote dur est plus sûr.

Comment choisir les poids dans le vote souple pondéré ?

Une approche simple consiste à pondérer chaque modèle par sa précision ou son AUC validée croisée sur l'ensemble d'entraînement. Des approches plus fondées optimisent les poids via un ensemble de validation réservé, mais risquent le surajustement si l'ensemble de validation est petit.

Quelle est la différence entre un ensemble par vote et le stacking ?

Les ensembles par vote combinent les sorties des modèles de base avec des règles fixes (majorité ou moyenne). Le stacking entraîne un méta-apprenant sur les sorties des modèles de base pour apprendre la combinaison optimale — plus puissant mais plus complexe et sujet aux fuites de données si la validation croisée n'est pas utilisée correctement.

La diversité améliore-t-elle toujours l'ensemble ?

La diversité est nécessaire mais pas suffisante. Les apprenants de base doivent également être individuellement précis ; un ensemble de classifieurs faibles et diversifiés peut toujours mal performer. L'objectif est d'avoir des erreurs diverses parmi des modèles précis.

Méthodes associées

Sources

  1. Kuncheva, L. I. (2004). Combining Pattern Classifiers: Methods and Algorithms. Wiley-Interscience.

    ISBN : 978-0-471-21078-8
    Copié.
  2. Dietterich, T. G. (2000). Ensemble Methods in Machine Learning. In J. Kittler & F. Roli (Eds.), Multiple Classifier Systems (MCS 2000), Lecture Notes in Computer Science, vol 1857, pp. 1–15. Springer.

    Ouvrir la référence DOI
    Copié.