Votación Mayoritaria
- Propuesto por
- Leo Breiman
- Año
- 1996
- Tipo
- voting aggregation
- Familia
- Ensemble
Este texto es una traducción automática y aún no se ha revisado. Leer el original en inglés
¿Qué hace?
La votación mayoritaria es un método de ensamble que combina las predicciones de múltiples clasificadores base seleccionando la clase que recibe la mayor cantidad de votos.
Cada clasificador base emite un voto por una clase predicha, y la predicción final es la clase con la mayoría (pluralidad). Este enfoque fue formalizado por Leo Breiman y sus colegas en la década de 1990 como una forma simple pero efectiva de mejorar la precisión de la clasificación.
La intuición detrás del método
La idea central es que la combinación de clasificadores débiles diversos puede producir una decisión colectiva más fuerte a través de la votación democrática. Si los modelos individuales son imperfectos pero cometen errores diferentes, un voto mayoritario filtra las misclasificaciones aisladas. Esto funciona mejor cuando los clasificadores base son independientes y tienen una precisión moderada, mejor que la suposición aleatoria pero no perfecta. La fortaleza proviene del desacuerdo: cuando los modelos discrepan, la decisión de la multitud es más confiable que la de cualquier modelo individual.
Historia
La votación mayoritaria surgió a principios de la década de 1990 a medida que el aprendizaje de ensambles ganaba prominencia. El trabajo de Breiman sobre bagging (1996) popularizó la idea de combinar múltiples modelos. Kuncheva (2004) proporcionó una teoría completa sobre los métodos de combinación de ensambles. La votación dura sigue siendo una de las estrategias de ensamble más simples e intuitivas, sirviendo a menudo como línea base para métodos más sofisticados como stacking y boosting.
Cuándo usarlo
Utilizar la votación mayoritaria cuando se disponga de múltiples clasificadores base y se necesiten predicciones de ensamble simples e interpretables. Funciona bien para la clasificación multiclase y asume que los clasificadores base son relativamente independientes. Es menos efectivo si todos los modelos base tienden a cometer los mismos errores o están altamente correlacionados. Preferir otros métodos de ensamble (boosting, stacking) si se necesita ponderar los aprendices base por su precisión individual.
Limitaciones y consideraciones
- Ignora la fiabilidad del clasificador: cada modelo obtiene un voto igual independientemente de su precisión.
- Ineficaz si los clasificadores base están altamente correlacionados o si todos cometen errores sistemáticos.
- Pueden ocurrir empates en entornos multiclase, lo que requiere reglas de desempate arbitrarias.
- El rendimiento depende críticamente de la diversidad de los clasificadores base y de su calidad individual.
Las condiciones de la fuente no sustituyen una revisión científica independiente ni la validación por un motor de análisis.
Fortalezas
- Simple de implementar y entender: la regla de votación directa no requiere ajuste.
- Computacionalmente eficiente: el tiempo de predicción escala linealmente con el número de clasificadores base.
- Robusto ante predicciones atípicas cuando la mayoría es clara.
- Funciona con cualquier tipo de clasificador base (posibles ensambles heterogéneos).
Aplicaciones
- Diagnóstico médico: combinación de predicciones de múltiples modelos de soporte de decisiones clínicas para reducir el sesgo de modelos individuales.
- Detección de spam: agregación de decisiones de filtros basados en reglas, clasificadores Naive Bayes y SVM.
- Evaluación de riesgo crediticio: ensamble de árboles de decisión y modelos de regresión logística votando sobre la aprobación de préstamos.
- Clasificación de imágenes: múltiples redes neuronales convolucionales votando sobre la categoría de objetos en visión por computadora.
- Análisis de sentimiento: combinación de la salida de modelos LSTM, transformer y con características diseñadas manualmente sobre reseñas de texto.
Cómo funciona
Cómo funciona
Entrenar K clasificadores base independientes (por ejemplo, árboles de decisión, regresión logística, redes neuronales) en muestras idénticas o bootstrap de los datos de entrenamiento.
Para una nueva muestra, pásala a través de cada uno de los K clasificadores entrenados y recopila sus predicciones individuales.
Contar los votos para cada clase y asignar la nueva muestra a la clase con la mayor cantidad de votos. En caso de empate, usar una regla de desempate (por ejemplo, selección aleatoria o prioridad predefinida).
Errores comunes
- Entrenar todos los clasificadores base con datos idénticos reduce la diversidad y los votos se vuelven redundantes.
- Incluir clasificadores débiles o sesgados diluye el poder de voto de los modelos precisos.
- Asumir que la votación mayoritaria funcionará sin verificar que los modelos base sean suficientemente independientes.
- No manejar los empates estratégicamente: el desempate aleatorio puede introducir inestabilidad.
Preguntas frecuentes
¿Cómo elijo el número de clasificadores base?
Comenzar con 5-10 clasificadores; agregar más puede mejorar la estabilidad pero con rendimientos decrecientes. Equilibrar las ganancias de precisión con el costo computacional. Más clasificadores ayudan cuando son diversos; los modelos redundantes no agregan valor.
¿Qué pasa si el número de clasificadores base es par y ocurre un empate?
Definir una regla de desempate antes del entrenamiento: asignar a la clase con la mayor confianza de predicción acumulada, usar selección aleatoria o asignar a una clase predeterminada. Un desempate consistente asegura la reproducibilidad.
¿Puedo usar votación mayoritaria con problemas de regresión?
La votación dura está diseñada para clasificación. Para regresión, usar promediación suave (media de las predicciones) o promediación ponderada en su lugar.
¿La diversidad de los clasificadores base garantiza un mejor rendimiento del ensamble?
La diversidad ayuda pero no es suficiente. Los clasificadores base deben ser diversos en los patrones de error e individualmente mejores que la suposición aleatoria. Medir la diversidad empíricamente a través de la correlación de errores de entrenamiento.
Métodos relacionados
Fuentes
Breiman, L. (1996). Bagging predictors. Machine Learning, 24(2), 123-140.
Abrir referencia DOICopiado.Kuncheva, L. I. (2004). Combining Pattern Classifiers: Methods and Algorithms. Wiley-Interscience.
Abrir referencia de la publicaciónCopiado.