Saltar al contenido
Volver a los resultados

XGBoost

Propuesto por
Chen, T. & Guestrin, C.
Año
2016
Tipo
Ensemble (gradient-boosted decision trees)

Este texto es una traducción automática y aún no se ha revisado. Leer el original en inglés

Tamaño de letra

¿Qué hace?

XGBoost (Extreme Gradient Boosting) es un algoritmo escalable de potenciación de árboles introducido por Tianqi Chen y Carlos Guestrin en 2016.

Construye un predictor potente añadiendo árboles de decisión uno a uno, cada uno corrigiendo los errores dejados por los árboles anteriores, y es un método de predicción potente ampliamente utilizado en competiciones.

La intuición detrás del método

En lugar de generar muchos árboles independientes y promediarlos, XGBoost genera árboles en secuencia: cada nuevo árbol se enfoca en los casos que el modelo actual todavía maneja mal. Paso a paso, el conjunto va reduciendo el error restante, mientras que una penalización de regularización mantiene los árboles individuales simples para que el modelo combinado generalice en lugar de memorizar los datos de entrenamiento.

Historia

XGBoost fue introducido por Tianqi Chen y Carlos Guestrin en su artículo de 2016 'XGBoost: A Scalable Tree Boosting System' en ACM SIGKDD. Al combinar la potenciación de gradiente regularizada de árboles de decisión con una implementación escalable y eficiente, se convirtió en uno de los algoritmos de predicción más adoptados, especialmente prominente en competiciones de ciencia de datos.

Cuándo usarlo

Utilice XGBoost para clasificación o predicción precisa en datos tabulares con características continuas, categóricas, binarias o de recuento y al menos unas 100 observaciones, cuando el rendimiento predictivo sea la prioridad. No requiere datos con distribución normal; datos suficientes y una ingeniería de características reflexiva son los principales supuestos prácticos. Con menos de ~100 casos, la potenciación de gradiente tiende a sobreajustar y un modelo más simple (como la regresión logística o un solo árbol de decisión) es más fiable.

Limitaciones y consideraciones

  • Necesita suficientes datos —aproximadamente 100+ observaciones— o sobreajusta y los resultados de la validación cruzada se vuelven poco fiables.
  • En muestras pequeñas no hay suficientes datos para ajustar los muchos hiperparámetros, por lo que un modelo más simple generaliza mejor.
  • Muchos hiperparámetros y un conjunto de caja negra hacen que sea más difícil de configurar e interpretar que un modelo único.

Las condiciones de la fuente no sustituyen una revisión científica independiente ni la validación por un motor de análisis.

Fortalezas

  • Fuerte precisión predictiva en datos tabulares, razón por la cual es tan común en competiciones.
  • La regularización incorporada penaliza la complejidad del árbol y ayuda a controlar el sobreajuste.
  • Tolera valores faltantes y maneja tipos de características mixtos (continuos, categóricos, binarios, de recuento).
  • Escala bien y se beneficia directamente de la ingeniería de características.

Aplicaciones

  • Clasificación y predicción en datos tabulares con muchas características.
  • Modelado predictivo de grado de competición donde la precisión es primordial.
  • Tareas de puntuación y predicción de riesgos en características continuas, categóricas, binarias y de recuento.
  • Problemas de modelado donde los valores faltantes y las características diseñadas son comunes.

Cómo funciona

Cómo funciona

1

XGBoost es un método de potenciación de gradiente: combina muchos árboles de decisión poco profundos en un único conjunto. Los árboles se añaden uno tras otro, y cada nuevo árbol se ajusta para reducir el error de predicción que queda después de los árboles ya presentes en el modelo.

2

El modelo minimiza un objetivo que suma un término de pérdida que mide el ajuste a los datos más un término de regularización que penaliza la complejidad del árbol. Esta penalización explícita de complejidad es lo que ayuda a XGBoost a controlar el sobreajuste mientras ajusta relaciones flexibles y no lineales.

Fórmula
\mathcal{L} = \sum_i l(\hat{y}_i, y_i) + \sum_k \Omega(f_k)
3

En cada ronda de potenciación, la predicción actual se actualiza añadiendo la salida de un árbol recién ajustado. Cada árbol se elige para mover las predicciones en la dirección que más reduce el objetivo, de modo que la precisión del conjunto mejora ronda tras ronda.

Fórmula
\hat{y}_i^{(t)} = \hat{y}_i^{(t-1)} + f_t(x_i)
4

Después de todas las rondas, la predicción final es la suma de las contribuciones de cada árbol, utilizada para clasificación o para predecir un objetivo. Dado que el modelo tolera valores faltantes y se beneficia de la ingeniería de características, funciona bien en datos tabulares una vez que hay suficientes observaciones disponibles.

Errores comunes

  • Aplicarlo a muestras pequeñas (n < 100) donde la potenciación de gradiente sobreajusta y las estimaciones de CV no son fiables.
  • Omitir el ajuste de hiperparámetros mediante validación cruzada (p. ej., búsqueda en cuadrícula) y aceptar los valores predeterminados.
  • Dejar la gestión de valores faltantes y la codificación categórica sin decidir, aunque XGBoost tolera las lagunas.
  • No establecer una división adecuada de entrenamiento/prueba o validación cruzada k-fold antes de informar el rendimiento.

Preguntas frecuentes

¿Cuántos datos necesita XGBoost?

Alrededor de 100 observaciones es un mínimo sensato. Con menos de 100 casos, la potenciación de gradiente tiende a sobreajustar y los resultados de la validación cruzada se vuelven poco fiables, por lo que un modelo más simple como la regresión logística o un solo árbol de decisión es más fiable.

¿Requiere XGBoost datos con distribución normal?

No. No hace suposiciones de normalidad y funciona con características continuas, categóricas, binarias y de recuento. Los principales requisitos prácticos son tener suficientes datos y realizar una ingeniería de características reflexiva.

¿En qué se diferencia XGBoost de Random Forest?

Random Forest genera árboles de forma independiente y los promedia para reducir la varianza. XGBoost genera árboles secuencialmente, cada uno corrigiendo los errores de los anteriores, y añade una penalización de regularización a la complejidad del árbol, lo que puede alcanzar una mayor precisión con un ajuste cuidadoso.

¿Cómo interpreto un modelo XGBoost?

Dado que el modelo es un conjunto de muchos árboles, las contribuciones se suelen examinar con análisis de atribución de características como SHAP, junto con métricas del conjunto de prueba como RMSE o AUC y ajuste de hiperparámetros mediante validación cruzada.

Métodos relacionados

Fuentes

  1. Chen, T. & Guestrin, C. (2016). XGBoost: A Scalable Tree Boosting System. Proceedings of the 22nd ACM SIGKDD, 785–794.

    Abrir referencia DOI
    Copiado.