Saltar al contenido
Volver a los resultados

Ensamble de votación

Propuesto por
Lam & Suen; Kuncheva, L. I. (systematic treatment)
Año
1990s–2004
Tipo
Ensemble (combination of multiple classifiers by vote)
Familia
Machine learning

Este texto es una traducción automática y aún no se ha revisado. Leer el original en inglés

Tamaño de letra

¿Qué hace?

Un ensamble de votación entrena varios clasificadores diversos de forma independiente y combina sus predicciones mediante una votación: la votación dura (hard voting) selecciona la clase elegida por la mayoría de los modelos, mientras que la votación blanda (soft voting) promedia sus estimaciones de probabilidad de clase, opcionalmente con ponderaciones por modelo.

La combinación generalmente supera a cualquier miembro individual y no requiere entrenamiento adicional después de ajustar los modelos base.

La intuición detrás del método

Imagine que pide a cinco médicos un diagnóstico y se atiene a la opinión mayoritaria. Cada médico puede errar de maneras distintas, pero agrupar sus veredictos anula los errores idiosincrásicos. Un ensamble de votación funciona de la misma manera: modelos diversos fallan en ejemplos diferentes, por lo que su voto combinado es más fiable que cualquier modelo individual. La votación blanda refina esto permitiendo que los modelos más seguros contribuyan proporcionalmente más a la decisión final a través de sus puntuaciones de probabilidad.

Historia

La combinación de clasificadores por voto de mayoría se estudió sistemáticamente desde principios de la década de 1990, con una notable base teórica por Lam y Suen (1994) y Kittler et al. (1998). La monografía de Ludmila Kuncheva de 2004 proporcionó el tratamiento definitivo de la combinación de clasificadores de patrones, cubriendo votación dura y blanda, votación ponderada y el papel de la diversidad. La votación blanda ganó popularidad práctica a través del VotingClassifier de scikit-learn, que facilitó la combinación de estimadores arbitrarios en una sola llamada a la API.

Cuándo usarlo

Utilice un ensamble de votación cuando tenga dos o más clasificadores diversos ya entrenados y desee una combinación rápida e interpretable sin costo de entrenamiento adicional. Es especialmente valioso cuando los modelos individuales tienen una precisión promedio similar pero perfiles de error diferentes: combinarlos produce ganancias genuinas. La votación blanda es preferible cuando los modelos base emiten probabilidades calibradas. No utilice ensambles de votación como sustituto de una selección de modelo adecuada: si todos los aprendices base son débiles o cometen errores correlacionados, combinarlos no ayudará. Evítelo cuando los interesados o la regulación requieran la interpretabilidad de un modelo único.

Limitaciones y consideraciones

  • Las ganancias son mínimas o inexistentes cuando los aprendices base cometen errores altamente correlacionados.
  • La votación blanda requiere que todos los aprendices base emitan estimaciones de probabilidad calibradas y comparables.
  • El costo de inferencia escala linealmente con el número de aprendices base; los ensambles grandes pueden ser lentos.
  • No hay mecanismo para aprender pesos de combinación óptimos automáticamente — a diferencia del apilamiento (stacking), los pesos deben establecerse manualmente.

Las condiciones de la fuente no sustituyen una revisión científica independiente ni la validación por un motor de análisis.

Fortalezas

  • Sencillo de implementar: no se necesita entrenamiento de meta-aprendiz más allá de ajustar los modelos base.
  • A menudo mejora la precisión y la robustez sobre cualquier aprendiz base individual cuando los miembros son diversos.
  • La votación blanda explota la calibración de probabilidades, superando típicamente a la votación dura.
  • Admite familias de modelos heterogéneas, permitiendo cualquier combinación de clasificadores.
  • Fácil de añadir o eliminar aprendices base sin reentrenar la infraestructura del ensamble.

Aplicaciones

  • Combinación de regresión logística, SVM y modelos basados en árboles para la predicción de riesgo clínico.
  • Clasificación de texto robusta mediante la agrupación de predicciones de múltiples ajustes finos de modelos de lenguaje.
  • Aprendizaje automático de competición (estilo Kaggle) donde la combinación de los k modelos diversos principales mejora la puntuación en la tabla de clasificación.
  • Entornos de producción donde la robustez del ensamble es más importante que la simplicidad de un modelo único.
  • Ensamblaje de referencia antes de invertir esfuerzo en apilamiento (stacking) o potenciación (boosting).

Cómo funciona

Cómo funciona

1

Un conjunto de K aprendices base — que pueden ser de familias de modelos completamente diferentes, como una regresión logística, un clasificador k-vecinos más cercanos (k-nearest neighbours) y un árbol de decisión — se entrena cada uno de forma independiente en el conjunto de entrenamiento completo o en su propia configuración ajustada. La diversidad entre los aprendices base es esencial: los modelos que cometen errores similares ganan poco al ser combinados.

2

En tiempo de inferencia, cada aprendiz base produce una predicción para la nueva entrada. Para la votación dura, esta es simplemente una etiqueta de clase; para la votación blanda, cada aprendiz debe emitir un vector de probabilidades de clase, lo que impone la restricción de que todos los aprendices base elegidos puedan ser calibrados para emitir estimaciones de probabilidad significativas.

3

En la votación dura, el ensamble cuenta cuántos modelos predijeron cada clase y asigna la etiqueta que recibió la pluralidad de votos. Los empates se resuelven mediante una regla fija (p. ej., el índice de clase más bajo). Este modo funciona incluso cuando los aprendices base no pueden producir probabilidades fiables.

Fórmula
\hat{y} = \arg\max_c \sum_{k=1}^{K} \mathbf{1}[h_k(x)=c]
4

En la votación blanda, el ensamble promedia (o toma un promedio ponderado usando ponderaciones w_k) los vectores de probabilidad de clase de todos los aprendices base y predice la clase con la probabilidad promediada más alta. Dado que la votación blanda explota las magnitudes de probabilidad en lugar de solo los ganadores, generalmente supera a la votación dura cuando los aprendices base están bien calibrados.

Fórmula
\hat{y} = \arg\max_c \sum_{k=1}^{K} w_k \, p_k(c \mid x)
5

El ensamble devuelve la etiqueta de clase ganadora y, en modo de votación blanda, el vector de probabilidad promediado que puede usarse para ajuste de umbral, clasificación o diagnósticos de calibración posteriores. No se requiere ningún paso de entrenamiento adicional una vez que los modelos base están ajustados.

Errores comunes

  • Combinar aprendices base que se ajustaron con los mismos datos sin validación cruzada conduce a estimaciones de error optimistas.
  • Usar votación blanda con salidas de probabilidad mal calibradas (p. ej., valores de decisión brutos de SVM) puede perjudicar en lugar de ayudar.
  • Seleccionar aprendices base que son demasiado similares — todas las variantes de la misma familia de modelos — elimina la diversidad y desperdicia computación.
  • Ignorar el desequilibrio de clases: si los aprendices base no están equilibrados individualmente, sus votos amplificarán colectivamente el sesgo de la clase mayoritaria.
  • Tratar la precisión del ensamble de votación como final sin comprobar si un modelo único más simple logra el mismo resultado.

Preguntas frecuentes

¿Cuántos aprendices base debo incluir?

No hay una regla fija, pero entre tres y siete clasificadores diversos es un rango práctico común. Añadir más aprendices más allá de un punto de rendimientos decrecientes aumenta la latencia de inferencia sin mejorar significativamente la precisión.

¿Cuándo debo preferir la votación blanda sobre la votación dura?

Utilice la votación blanda cuando todos los aprendices base produzcan salidas de probabilidad bien calibradas — típicamente produce una mayor precisión porque utiliza la distribución de probabilidad completa en lugar de solo la clase ganadora. Si las probabilidades están mal calibradas o no están disponibles, la votación dura es más segura.

¿Cómo elijo las ponderaciones en la votación blanda ponderada?

Un enfoque simple es ponderar cada modelo por su precisión o AUC validada cruzada en el conjunto de entrenamiento. Los enfoques más principistas optimizan las ponderaciones a través de un conjunto de validación retenido, pero corren el riesgo de sobreajuste si el conjunto de validación es pequeño.

¿En qué se diferencia el ensamble de votación del apilamiento (stacking)?

Los ensambles de votación combinan las salidas de los modelos base con reglas fijas (mayoría o promedio). El apilamiento entrena un meta-aprendiz sobre las salidas de los modelos base para aprender la combinación óptima — más potente pero más complejo y propenso a la fuga de datos si la validación cruzada no se utiliza correctamente.

¿La diversidad siempre mejora el ensamble?

La diversidad es necesaria pero no suficiente. Los aprendices base también deben ser individualmente precisos; un ensamble de clasificadores débiles y diversos aún puede tener un rendimiento pobre. El objetivo son errores diversos entre modelos precisos.

Métodos relacionados

Fuentes

  1. Kuncheva, L. I. (2004). Combining Pattern Classifiers: Methods and Algorithms. Wiley-Interscience.

    ISBN: 978-0-471-21078-8
    Copiado.
  2. Dietterich, T. G. (2000). Ensemble Methods in Machine Learning. In J. Kittler & F. Roli (Eds.), Multiple Classifier Systems (MCS 2000), Lecture Notes in Computer Science, vol 1857, pp. 1–15. Springer.

    Abrir referencia DOI
    Copiado.