Vote majoritaire
- Introduite par
- Leo Breiman
- Année
- 1996
- Type
- voting aggregation
- Famille
- Ensemble
Ce texte est une traduction automatique et n’a pas encore été relu. Lire l’original en anglais
À quoi sert-elle ?
Le vote majoritaire est une méthode d'ensemble qui combine les prédictions de plusieurs classifieurs de base en sélectionnant la classe qui reçoit le plus de votes.
Chaque classifieur de base émet un vote pour une classe prédite, et la prédiction finale est la classe ayant la majorité (pluralité). Cette approche a été formalisée par Leo Breiman et ses collègues dans les années 1990 comme un moyen simple mais efficace d'améliorer la précision de la classification.
L’intuition derrière la méthode
L'idée centrale est que la combinaison de classifieurs faibles et diversifiés peut produire une décision collective plus forte par vote démocratique. Si les modèles individuels sont imparfaits mais font des erreurs différentes, un vote majoritaire filtre les erreurs de classification isolées. Cela fonctionne mieux lorsque les classifieurs de base sont indépendants et ont une précision modérée, meilleure que le hasard mais pas parfaite. La force réside dans la divergence : lorsque les modèles divergent, la décision collective est plus fiable que celle d'un modèle unique.
Histoire
Le vote majoritaire est apparu au début des années 1990 avec la montée en puissance de l'apprentissage d'ensemble. Les travaux de Breiman sur le bagging (1996) ont popularisé l'idée de combiner plusieurs modèles. Kuncheva (2004) a fourni une théorie complète sur les méthodes de combinaison d'ensembles. Le vote dur (hard voting) reste l'une des stratégies d'ensemble les plus simples et les plus intuitives, servant souvent de référence pour des méthodes plus sophistiquées comme le stacking et le boosting.
Quand l’utiliser
Utiliser le vote majoritaire lorsque plusieurs classifieurs de base sont disponibles et que des prédictions d'ensemble simples et interprétables sont nécessaires. Il fonctionne bien pour la classification multi-classe et suppose que les classifieurs de base sont relativement indépendants. Il est moins efficace si tous les modèles de base ont tendance à faire les mêmes erreurs ou sont fortement corrélés. Préférer d'autres méthodes d'ensemble (boosting, stacking) si vous avez besoin de pondérer les apprenants de base en fonction de leur précision individuelle.
Limites et points d’attention
- Ignore la fiabilité des classifieurs : chaque modèle obtient un vote égal, quelle que soit sa précision.
- Inefficace si les classifieurs de base sont fortement corrélés ou font tous des erreurs systématiques.
- Des égalités peuvent survenir dans les contextes multi-classes, nécessitant des règles de départage arbitraires.
- La performance dépend de manière critique de la diversité des classifieurs de base et de leur qualité individuelle.
Les conditions de la source ne remplacent ni une revue scientifique indépendante ni la validation par un moteur d’analyse.
Points forts
- Simple à implémenter et à comprendre : la règle de vote directe ne nécessite aucun réglage.
- Calculatoirement efficace : le temps de prédiction est proportionnel au nombre de classifieurs de base.
- Robuste aux prédictions aberrantes lorsque la majorité est claire.
- Fonctionne avec tout type de classifieur de base (ensembles hétérogènes possibles).
Applications
- Diagnostic médical : combiner les prédictions de plusieurs modèles d'aide à la décision clinique pour réduire le biais des modèles individuels.
- Détection de spam : agréger les décisions de filtres basés sur des règles, de classifieurs Naive Bayes et SVM.
- Évaluation du risque de crédit : ensemble de modèles d'arbres de décision et de régression logistique votant sur l'approbation d'un prêt.
- Classification d'images : plusieurs réseaux neuronaux convolutifs votant sur la catégorie d'objet en vision par ordinateur.
- Analyse de sentiments : combiner la sortie de modèles LSTM, Transformer et de modèles à caractéristiques artisanales sur des avis textuels.
Comment ça marche
Comment ça marche
Entraîner K classifieurs de base indépendants (par exemple, arbres de décision, régression logistique, réseaux neuronaux) sur les mêmes échantillons d'entraînement ou des échantillons bootstrapés.
Pour un nouvel échantillon, le soumettre à chacun des K classifieurs entraînés et collecter leurs prédictions individuelles.
Compter les votes pour chaque classe et attribuer le nouvel échantillon à la classe ayant le plus de votes. En cas d'égalité, utiliser une règle de départage (par exemple, sélection aléatoire ou priorité prédéfinie).
Pièges courants
- L'entraînement de tous les classifieurs de base sur des données identiques réduit la diversité et les votes deviennent redondants.
- L'inclusion de classifieurs faibles ou biaisés dilue le pouvoir de vote des modèles précis.
- Supposer que le vote majoritaire fonctionnera sans vérifier que les modèles de base sont suffisamment indépendants.
- Négliger de gérer les égalités de manière stratégique : le départage aléatoire peut introduire de l'instabilité.
Questions fréquentes
Comment choisir le nombre de classifieurs de base ?
Commencer avec 5 à 10 classifieurs ; en ajouter davantage peut améliorer la stabilité mais avec des rendements décroissants. Équilibrer les gains de précision avec le coût computationnel. Plus de classifieurs aident lorsqu'ils sont diversifiés ; les modèles redondants n'apportent pas de valeur.
Que faire si le nombre de classifieurs de base est pair et qu'une égalité survient ?
Définir une règle de départage avant l'entraînement : attribuer à la classe avec la plus haute confiance de prédiction cumulée, utiliser une sélection aléatoire, ou attribuer à une classe par défaut prédéfinie. Un départage cohérent assure la reproductibilité.
Puis-je utiliser le vote majoritaire avec des problèmes de régression ?
Le vote dur est conçu pour la classification. Pour la régression, utiliser une moyenne des prédictions (soft averaging) ou une moyenne pondérée à la place.
La diversité des classifieurs de base garantit-elle de meilleures performances d'ensemble ?
La diversité aide mais n'est pas suffisante. Les classifieurs de base doivent être à la fois diversifiés dans leurs schémas d'erreur et individuellement meilleurs que le hasard. Mesurer la diversité empiriquement via la corrélation des erreurs d'entraînement.
Méthodes associées
Sources
Breiman, L. (1996). Bagging predictors. Machine Learning, 24(2), 123-140.
Ouvrir la référence DOICopié.Kuncheva, L. I. (2004). Combining Pattern Classifiers: Methods and Algorithms. Wiley-Interscience.
Ouvrir la référence de la publicationCopié.