Saltar al contenido
Volver a los resultados

Gradient Boosting

Propuesto por
Friedman, J. H.
Año
2001
Tipo
Ensemble (sequential boosting of decision trees)

Este texto es una traducción automática y aún no se ha revisado. Leer el original en inglés

Tamaño de letra

¿Qué hace?

Gradient Boosting es un método de aprendizaje por conjuntos (ensemble learning), formalizado por Jerome H. Friedman en 2001, que combina una secuencia de "aprendices débiles" (weak learners) —típicamente árboles de decisión poco profundos— de modo que cada nuevo árbol se ajusta para minimizar los errores residuales de los árboles anteriores.

Es el algoritmo central detrás de implementaciones populares como XGBoost, LightGBM y CatBoost.

La intuición detrás del método

En lugar de construir un modelo fuerte de una sola vez, Gradient Boosting construye muchos árboles pequeños en secuencia, donde cada nuevo árbol se enfoca en los errores que el conjunto actual aún comete. Al empujar repetidamente la predicción en la dirección que más reduce el error restante, una cadena de aprendices débiles se suma para formar un predictor altamente preciso.

Historia

Gradient Boosting fue formalizado por Jerome H. Friedman en su artículo de 2001 Greedy Function Approximation: A Gradient Boosting Machine, que enmarcó el boosting como un descenso de gradiente en el espacio de funciones. La idea —añadir aprendices débiles que cada uno ajusta los residuales del conjunto actual— se convirtió en la base de los algoritmos de datos tabulares más exitosos en la práctica, incluyendo XGBoost, LightGBM y CatBoost.

Cuándo usarlo

Una opción sólida para la clasificación y predicción precisas en datos tabulares transversales o de panel con al menos unas 100 observaciones, a través de características continuas, categóricas, binarias y ordinales. Generalmente no se requiere el escalado de características, pero la optimización de hiperparámetros como el número de árboles, la tasa de aprendizaje y la profundidad máxima es crítica, y se recomienda la parada temprana para protegerse contra el sobreajuste. Con menos de unas 100 observaciones, los árboles secuenciales tienden a memorizar el ruido, y Random Forest o un solo árbol de decisión son opciones más seguras.

Limitaciones y consideraciones

  • La optimización de hiperparámetros como el número de árboles, la tasa de aprendizaje y la profundidad máxima es crítica y consume mucho tiempo.
  • El boosting secuencial es propenso al sobreajuste si no se regulariza, por lo que se recomienda la parada temprana.
  • En muestras pequeñas (n por debajo de aproximadamente 100), los árboles secuenciales memorizan el ruido, e incluso la parada temprana es insuficiente.
  • Con muy pocos datos, no hay suficiente material de validación cruzada para optimizar los hiperparámetros de manera fiable.

Las condiciones de la fuente no sustituyen una revisión científica independiente ni la validación por un motor de análisis.

Fortalezas

  • Muy alta precisión predictiva en datos tabulares tanto para clasificación como para predicción.
  • El escalado de características es generalmente innecesario, y maneja características continuas, categóricas, binarias y ordinales.
  • Constituye el algoritmo central detrás de bibliotecas ampliamente utilizadas como XGBoost, LightGBM y CatBoost.
  • La parada temprana y una tasa de aprendizaje pequeña permiten un control preciso sobre la relación sesgo-varianza.

Aplicaciones

  • Clasificación y predicción de alta precisión en datos tabulares transversales y de panel.
  • Puntuación de riesgo y predicción de resultados donde la máxima capacidad predictiva es la prioridad.
  • Modelado de relaciones no lineales complejas entre características de tipo mixto sin escalado manual.
  • Sirviendo como el motor detrás de bibliotecas de producción de gradient boosting como XGBoost y LightGBM.

Cómo funciona

Cómo funciona

1

Gradient Boosting entrena aprendices débiles —generalmente árboles de decisión poco profundos— uno tras otro en lugar de forma independiente. El conjunto comienza con una suposición inicial simple, y cada árbol subsiguiente se añade para corregir lo que el modelo actual aún no acierta, de modo que la precisión mejora paso a paso.

2

En cada ronda, el método examina los errores residuales del conjunto actual y ajusta el siguiente árbol a esos residuales (el gradiente negativo de la función de pérdida). El nuevo árbol se añade con un pequeño peso de tasa de aprendizaje, de modo que la predicción se actualiza con cautela: F_m(x) = F_{m-1}(x) + nu * h_m(x). Esta corrección secuencial, guiada por el gradiente, es lo que le da al método su nombre y su precisión.

Fórmula
F_{m}(x) = F_{m-1}(x) + \nu \, h_m(x)
3

La predicción final es la suma de la estimación inicial y todas las pequeñas correcciones de los árboles acumuladas a lo largo del proceso. Debido a que los árboles se añaden de forma codiciosa para perseguir el error restante, ajustar el número de árboles, la tasa de aprendizaje y la profundidad del árbol —junto con la parada temprana (early stopping)— es fundamental para evitar el sobreajuste.

Errores comunes

  • Omitir la parada temprana y dejar que el boosting se ejecute durante demasiadas rondas hasta que se sobreajuste.
  • Establecer la tasa de aprendizaje demasiado alta, de modo que cada árbol corrige en exceso en lugar de empujar suavemente la predicción.
  • Aplicarlo a una muestra de menos de aproximadamente 100 observaciones donde los árboles secuenciales memorizan el ruido.
  • Aceptar los hiperparámetros predeterminados en lugar de ajustar n_estimators, learning_rate y max_depth.
  • Tratarlo como si necesitara escalado de características, como los modelos basados en distancia, cuando el escalado es generalmente innecesario.

Preguntas frecuentes

¿En qué se diferencia Gradient Boosting de Random Forest?

Random Forest construye muchos árboles independientes en paralelo y los promedia, mientras que Gradient Boosting construye árboles secuencialmente, cada uno ajustado para corregir los errores residuales de los anteriores. El boosting a menudo alcanza una mayor precisión, pero es más sensible al sobreajuste y necesita una cuidadosa optimización.

¿Por qué se recomienda la parada temprana?

Debido a que cada nuevo árbol persigue el error restante, una ejecución de boosting demasiado larga comienza a ajustar el ruido. La parada temprana detiene el entrenamiento una vez que el rendimiento de validación deja de mejorar, lo cual es la principal salvaguarda contra el sobreajuste.

¿Necesito escalar mis características?

Generalmente no se requiere el escalado de características para el gradient boosting basado en árboles, ya que las divisiones dependen del orden más que de la magnitud. Los parámetros críticos son, en cambio, el número de árboles, la tasa de aprendizaje y la profundidad del árbol.

¿Qué tamaño de muestra necesito?

Al menos unas 100 observaciones. Por debajo de eso, los árboles secuenciales memorizan el ruido e incluso la parada temprana es insuficiente, por lo que Random Forest o un solo árbol de decisión son la opción más segura.

Métodos relacionados

Fuentes

  1. Friedman, J. H. (2001). Greedy Function Approximation: A Gradient Boosting Machine. Annals of Statistics, 29(5), 1189–1232.

    Abrir referencia DOI
    Copiado.