Saltar al contenido
Volver a los resultados

AdaBoost

Propuesto por
Freund, Y. & Schapire, R.E.
Año
1997
Tipo
Ensemble (sequential boosting of weak learners)

Este texto es una traducción automática y aún no se ha revisado. Leer el original en inglés

Tamaño de letra

¿Qué hace?

AdaBoost (Potenciación Adaptativa) es el algoritmo de potenciación original, introducido por Yoav Freund y Robert Schapire en 1997, que combina una secuencia de aprendices débiles simples al dar más peso a las observaciones que clasifican erróneamente.

El precursor de la potenciación por gradiente, es simple, interpretable y una base sólida para la clasificación.

La intuición detrás del método

Un único árbol poco profundo es un aprendiz débil: solo un poco mejor que adivinar. AdaBoost convierte muchos de estos aprendices débiles en un único predictor fuerte entrenándolos uno tras otro. Después de entrenar cada aprendiz, a las observaciones que clasificó erróneamente se les da más peso, de modo que el siguiente aprendiz se centra en los casos difíciles que los demás siguen clasificando mal. La predicción final es un voto ponderado, donde los aprendices más precisos cuentan más.

Historia

AdaBoost fue introducido por Yoav Freund y Robert Schapire en 1997 como una generalización de decisión del aprendizaje en línea aplicado a la potenciación. Fue el primer algoritmo de potenciación práctico y demostró que muchos aprendices débiles podían combinarse en uno fuerte, un trabajo que se convirtió en fundamental para toda la familia de la potenciación. Es el precursor directo de la potenciación por gradiente y herramientas modernas como XGBoost.

Cuándo usarlo

Adecuado para clasificación y predicción en datos tabulares transversales con características continuas, categóricas o binarias y al menos unas 50 observaciones, cuando se desea una base de potenciación simple e interpretable. AdaBoost no hace suposiciones de normalidad, pero es sensible a datos ruidosos y valores atípicos, por lo que se deben examinar primero los valores atípicos. Controle el número de estimadores para gestionar el riesgo de sobreajuste, pequeño pero no nulo. En muestras pequeñas, la regresión logística más simple o el Bosque Aleatorio, más robusto, son más seguros.

Limitaciones y consideraciones

  • Sensible a datos ruidosos y valores atípicos debido a su pérdida exponencial; se necesita un cribado de valores atípicos.
  • El riesgo de sobreajuste es bajo pero no nulo y debe controlarse mediante el número de estimadores.
  • En muestras pequeñas (n por debajo de unas 50) las observaciones ruidosas se sobreponderan y cada iteración puede empeorar el rendimiento.

Las condiciones de la fuente no sustituyen una revisión científica independiente ni la validación por un motor de análisis.

Fortalezas

  • Simple e interpretable, con pocos parámetros que ajustar.
  • Convierte aprendices débiles de profundidad 1 en un clasificador fuerte, una base sólida lista para usar.
  • Sin suposiciones de normalidad; maneja características continuas, categóricas y binarias.
  • El precursor de la potenciación por gradiente, con un claro mecanismo de ponderación adaptativa.

Aplicaciones

  • Bases de clasificación en datos tabulares transversales.
  • Tareas de predicción donde se prefiere un modelo potenciado simple e interpretable.
  • Enseñar y demostrar la idea de potenciación antes de pasar a la potenciación por gradiente.
  • Combinar muchos tocones de decisión poco profundos en un único clasificador fuerte.

Cómo funciona

Cómo funciona

1

Cada observación de entrenamiento comienza con un peso igual. Estos pesos indican a cada aprendiz débil sucesivo cuánto debe importarle acertar esa observación particular.

2

Se ajusta un aprendiz débil —típicamente un tocón de decisión, un árbol de profundidad 1— a los datos ponderados. Debido a su simplicidad, por sí solo solo mejora un poco las posibilidades.

3

La precisión general del aprendiz determina su peso en el voto final, y los pesos de las observaciones que clasificó erróneamente se incrementan para que el siguiente aprendiz se concentre en ellas. Una función de pérdida exponencial impulsa esta actualización: penaliza la mala clasificación a una tasa que aumenta drásticamente, lo que también hace que AdaBoost sea sensible a puntos ruidosos y valores atípicos.

Fórmula
w_i \leftarrow w_i \exp(\alpha \, \mathbb{1}[y_i \neq h(x_i)])
4

Después de muchas rondas, los aprendices débiles se combinan en una única predicción mediante un voto mayoritario ponderado, donde cada aprendiz se pondera por su precisión. Esta suma de muchos aprendices simples y enfocados forma un único clasificador fuerte.

Fórmula
H(x) = \text{sign}\left(\sum_t \alpha_t h_t(x)\right)

Errores comunes

  • Ejecutar AdaBoost en datos llenos de valores atípicos sin cribarlos primero.
  • Dejar que el número de estimadores crezca sin control en lugar de ajustarlo.
  • Usarlo en una muestra de menos de unas 50 observaciones, donde los puntos ruidosos dominan la ponderación.
  • Optar por AdaBoost cuando un conjunto más robusto como el Bosque Aleatorio se ajusta mejor a los datos ruidosos.

Preguntas frecuentes

¿Cómo se diferencia AdaBoost de Random Forest?

Random Forest construye muchos árboles independientes en paralelo y los promedia (bagging); AdaBoost construye aprendices débiles secuencialmente, cada uno centrándose en los casos que los anteriores clasificaron mal (boosting). Debido a su pérdida exponencial, AdaBoost es más sensible al ruido y a los valores atípicos, mientras que Random Forest es más robusto.

¿Por qué AdaBoost es sensible a los valores atípicos?

Utiliza una función de pérdida exponencial que penaliza la mala clasificación a una tasa que aumenta drásticamente. Los puntos persistentemente mal clasificados —a menudo valores atípicos u observaciones ruidosas— siguen ganando peso, por lo que pueden dominar las iteraciones posteriores y degradar el modelo.

¿Cuántos estimadores debo usar?

El número de estimadores (aprendices débiles) controla el riesgo de sobreajuste, pequeño pero real, de AdaBoost. Auméntelo mientras el rendimiento de validación mejore y deténgase una vez que se estabilice o comience a empeorar.

¿Qué es un aprendiz débil aquí?

Típicamente un tocón de decisión —un árbol de decisión de profundidad 1. Por sí solo, solo es ligeramente mejor que el azar, pero AdaBoost combina muchos de ellos, cada uno ponderado por su precisión, en un único clasificador fuerte.

Métodos relacionados

Fuentes

  1. Freund, Y. & Schapire, R.E. (1997). A Decision-Theoretic Generalization of On-Line Learning and an Application to Boosting. Journal of Computer and System Sciences, 55(1), 119–139.

    Abrir referencia DOI
    Copiado.