Saltar al contenido
Volver a los resultados

LightGBM

Propuesto por
Ke, G. et al. (Microsoft)
Año
2017
Tipo
Gradient boosting decision tree ensemble

Este texto es una traducción automática y aún no se ha revisado. Leer el original en inglés

Tamaño de letra

¿Qué hace?

LightGBM es la implementación de árbol de decisión de potenciación de gradiente de Microsoft, introducida por Ke y colegas en 2017, que construye árboles hoja a hoja y agrupa características en histogramas para mayor velocidad.

En conjuntos de datos grandes es mucho más rápido que XGBoost, manteniendo una fuerte precisión predictiva.

La intuición detrás del método

La potenciación de gradiente construye un conjunto uno a uno, donde cada nuevo árbol corrige los errores dejados por los árboles anteriores. LightGBM mantiene esta idea central pero la hace rápida: en lugar de probar cada punto de división posible en características continuas, agrupa los valores de las características en un número fijo de 'bins' (intervalos) de histograma, y en lugar de construir cada árbol nivel por nivel, siempre construye la hoja que promete la mayor mejora. El resultado es un modelo que converge rápidamente y escala a datos tabulares grandes.

Historia

LightGBM fue introducido por Guolin Ke y colegas en Microsoft en un artículo de NeurIPS de 2017, 'LightGBM: A Highly Efficient Gradient Boosting Decision Tree'. Sus dos elecciones distintivas — agrupación de características basada en histogramas y crecimiento de árbol hoja a hoja (mejor primero) — fueron diseñadas para hacer la potenciación de gradiente drásticamente más rápida y eficiente en memoria en conjuntos de datos grandes, y se convirtió en una de las bibliotecas de potenciación más utilizadas para datos tabulares junto con XGBoost.

Cuándo usarlo

Una opción sólida para predicción, clasificación y pronóstico en grandes conjuntos de datos tabulares — transversales, de panel o series temporales — con características continuas, categóricas, binarias u ordinales y al menos unas 200 observaciones. Es más valioso cuando la velocidad de entrenamiento y la escala importan y se puede ajustar la regularización. Por debajo de aproximadamente 200 observaciones, el crecimiento hoja a hoja tiende a sobreajustarse gravemente, y un método nivel por nivel como XGBoost o un Bosque Aleatorio más estable es más seguro.

Limitaciones y consideraciones

  • El crecimiento hoja a hoja sobreajusta en muestras pequeñas a menos que se regularice cuidadosamente.
  • Requiere ajustar num_leaves y min_data_in_leaf para controlar la complejidad.
  • En conjuntos de datos por debajo de unas 200 observaciones, un método nivel por nivel (XGBoost) o un Bosque Aleatorio es más fiable.
  • Como otros árboles potenciados, es una caja negra sin coeficientes directamente interpretables.

Las condiciones de la fuente no sustituyen una revisión científica independiente ni la validación por un motor de análisis.

Fortalezas

  • Mucho más rápido que XGBoost en conjuntos de datos grandes gracias a la división basada en histogramas.
  • El crecimiento hoja a hoja converge rápidamente y a menudo alcanza alta precisión.
  • Maneja características categóricas directamente, sin codificación 'one-hot' manual.
  • Funciona para predicción, clasificación y pronóstico en datos transversales, de panel y series temporales.

Aplicaciones

  • Predicción y clasificación en grandes conjuntos de datos tabulares.
  • Tareas de pronóstico en datos transversales, de panel y series temporales.
  • Alternativa rápida y escalable a XGBoost cuando el tiempo de entrenamiento es importante.
  • Modelado de datos con muchas características categóricas sin preprocesamiento intensivo.

Cómo funciona

Cómo funciona

1

Los árboles se añaden secuencialmente: cada nuevo árbol se ajusta a los errores residuales del conjunto actual y se añade con una reducción de la tasa de aprendizaje, de modo que el modelo reduce gradualmente su pérdida paso a paso. Las características categóricas se pueden introducir en LightGBM directamente sin codificación 'one-hot' manual.

Fórmula
F_m(x) = F_{m-1}(x) + \eta\, h_m(x)
2

Los valores de las características continuas se agrupan en un número fijo de 'bins' discretos de histograma antes de la división. El algoritmo busca entonces la mejor división sobre estos 'bins' en lugar de cada valor bruto, que es la razón principal por la que LightGBM es mucho más rápido que implementaciones nivel por nivel como XGBoost en datos grandes.

3

En lugar de expandir todas las hojas a la misma profundidad (nivel por nivel), LightGBM construye hoja a hoja: siempre divide la hoja que produce la mayor reducción de pérdida. Esto converge más rápido pero puede sobreajustarse en muestras pequeñas, por lo que el número de hojas (num_leaves) y los datos mínimos por hoja (min_data_in_leaf) deben configurarse para regularizar los árboles.

Errores comunes

  • Uso de LightGBM en una muestra pequeña donde el crecimiento hoja a hoja sobreajusta severamente.
  • Dejar num_leaves y min_data_in_leaf en valores demasiado permisivos para el tamaño del conjunto de datos.
  • Codificar manualmente las variables categóricas 'one-hot' en lugar de pasarlas directamente a LightGBM.
  • Confiar en la precisión dentro de la muestra sin una evaluación separada o validación cruzada.

Preguntas frecuentes

¿Cómo se diferencia LightGBM de XGBoost?

Ambas son bibliotecas de árboles de decisión de potenciación de gradiente. LightGBM utiliza división basada en histogramas y crecimiento de árbol hoja a hoja (mejor primero), lo que lo hace mucho más rápido en conjuntos de datos grandes. XGBoost crece nivel por nivel, lo que a menudo es más seguro en muestras más pequeñas.

¿Por qué LightGBM sobreajusta en conjuntos de datos pequeños?

Su crecimiento hoja a hoja siempre divide la hoja con la mayor ganancia, lo que puede dividir los datos en demasiadas hojas en relación con su tamaño. En muestras pequeñas (por debajo de unas 200 observaciones) esto conduce a un sobreajuste grave, por lo que se recomienda un método nivel por nivel o un Bosque Aleatorio.

¿Necesito codificar las variables categóricas 'one-hot'?

No. LightGBM puede aceptar características categóricas directamente, por lo que la codificación 'one-hot' manual suele ser innecesaria e incluso puede perjudicar el rendimiento.

¿Qué configuraciones controlan el sobreajuste?

El número de hojas (num_leaves) y los datos mínimos por hoja (min_data_in_leaf) son los controles clave de regularización; ajustarlos para que sean más estrictos limita la complejidad del árbol en relación con el tamaño del conjunto de datos.

Métodos relacionados

Fuentes

  1. Ke, G., Meng, Q., Finley, T., Wang, T., Chen, W., Ma, W., Ye, Q. & Liu, T.-Y. (2017). LightGBM: A Highly Efficient Gradient Boosting Decision Tree. Advances in Neural Information Processing Systems (NeurIPS) 30, 3146–3154.

    Abrir referencia de la publicación
    Copiado.