Saltar al contenido
Volver a los resultados

Stacking

Propuesto por
Wolpert, D.H.
Año
1992
Tipo
Ensemble (heterogeneous meta-learning)

Este texto es una traducción automática y aún no se ha revisado. Leer el original en inglés

Tamaño de letra

¿Qué hace?

Stacking, o generalización apilada, es un método de ensamble introducido por David Wolpert en 1992 que combina las salidas de varios modelos base diferentes (Nivel-0) a través de un modelo meta separado (Nivel-1).

A diferencia de bagging y boosting, utiliza deliberadamente tipos de modelos heterogéneos y es la estrategia estándar de la etapa final en las competiciones de Kaggle.

La intuición detrás del método

Diferentes familias de modelos cometen diferentes tipos de errores: un ensamble de árboles, una máquina de vectores de soporte y un modelo lineal capturan los datos a su manera. Stacking trata sus predicciones como nuevas características y entrena un modelo más para aprender la mejor manera de combinarlas, de modo que el modelo meta pueda apoyarse en cada modelo base donde sea más fuerte y descartarlo donde sea débil, produciendo una predicción combinada que generalmente supera a cualquier modelo individual.

Historia

La generalización apilada fue introducida por David Wolpert en 1992 como una forma de combinar múltiples generalizadores a través de un modelo de nivel superior. La idea fue posteriormente formalizada y dotada de una sólida base teórica por van der Laan, Polley y Hubbard en 2007 bajo el nombre de Super Learner, que utiliza validación cruzada para combinar una biblioteca de aprendices base. Desde entonces, stacking se ha convertido en la estrategia estándar de última etapa en competiciones de aprendizaje automático, donde los ensambles de modelos heterogéneos encabezan rutinariamente las tablas de clasificación.

Cuándo usarlo

Utilice stacking cuando la precisión predictiva sea la prioridad y tenga varios modelos base razonablemente fuertes y diversos para combinar, en datos transversales con características continuas, categóricas o binarias y al menos unas 100 observaciones. No requiere datos con distribución normal. Por debajo de aproximadamente 100 observaciones, la validación cruzada k-fold no puede generar suficientes predicciones fiables de Nivel-0 y el meta-modelo se sobreajusta, por lo que un modelo sintonizado individual como random forest o XGBoost es más seguro.

Limitaciones y consideraciones

  • Necesita una muestra bastante grande (aproximadamente 100+) para que la validación cruzada k-fold pueda generar predicciones fiables de Nivel-0.
  • Las ganancias se reducen cuando los modelos base están altamente correlacionados en lugar de ser diversos.
  • Más complejo y computacionalmente intensivo que un modelo único, y más difícil de interpretar en su conjunto.
  • En muestras pequeñas, la diversidad de modelos base no se puede lograr y un modelo único suele ser suficiente.

Las condiciones de la fuente no sustituyen una revisión científica independiente ni la validación por un motor de análisis.

Fortalezas

  • A menudo logra la mayor precisión predictiva al explotar modelos base heterogéneos que cometen errores diferentes.
  • Flexible: cualquier mezcla de familias de modelos puede servir como aprendices base, con un meta-modelo simple encima.
  • Pocas suposiciones: sin requisito de normalidad, y maneja características continuas, categóricas y binarias.
  • La estrategia probada de etapa final en entornos de predicción competitiva como Kaggle.

Aplicaciones

  • Ensamble de etapa final en competiciones de modelado predictivo como Kaggle.
  • Combinación de modelos heterogéneos para clasificación y predicción de alta precisión.
  • Ensambles Super Learner en bioestadística y epidemiología.
  • Combinación de modelos fuertes pero diversos cuando exprimir precisión adicional es importante.

Cómo funciona

Cómo funciona

1

Se entrena un conjunto diverso de aprendices base (Nivel-0) con los datos; por ejemplo, un random forest, un modelo de gradient boosting y un SVM. Cuanto más variados e independientes entre sí sean estos modelos, más podrá ganar la pila; cuando los modelos base están altamente correlacionados entre sí, el beneficio de stacking se reduce.

2

Las predicciones de Nivel-0 se producen a través de validación cruzada k-fold en lugar de con los mismos datos en los que se ajustaron los modelos base. Este esquema out-of-fold es esencial para prevenir la fuga de datos: las meta-características de cada observación provienen de modelos que no la vieron durante el entrenamiento.

3

Se entrena un meta-modelo (Nivel-1) con las salidas de los modelos base validadas cruzadamente para producir la predicción final. El meta-aprendiz suele ser simple (regresión logística, regresión ridge o un XGBoost pequeño) para que aprenda pesos sensatos para combinar los modelos base sin sobreajustarse él mismo.

Fórmula
\hat{y} = g\big(f_1(x), f_2(x), \dots, f_M(x)\big)

Errores comunes

  • Generar predicciones de Nivel-0 en los mismos datos en los que se entrenaron los modelos base, causando fuga de datos al meta-modelo.
  • Apilar muchos modelos base altamente correlacionados y esperar una gran ganancia.
  • Usar un meta-modelo demasiado complejo que se sobreajuste a las salidas de los modelos base en lugar de un regresor simple.
  • Aplicar stacking a un conjunto de datos pequeño donde la diversidad de modelos base y la validación cruzada fiable son imposibles.

Preguntas frecuentes

¿Cómo se diferencia stacking de bagging y boosting?

Bagging y boosting construyen muchos modelos del mismo tipo, mientras que stacking combina deliberadamente familias de modelos heterogéneos y aprende a combinarlos con un meta-modelo separado. Esa diversidad es de donde proviene la ventaja de stacking.

¿Por qué usar validación cruzada para construir las meta-características?

Si el meta-modelo se entrena con predicciones que los modelos base hicieron sobre sus propios datos de entrenamiento, se produce una fuga de información y la pila se sobreajusta. Producir predicciones de Nivel-0 fuera de pliegue (out-of-fold) a través de validación cruzada k-fold proporciona al meta-modelo entradas honestas.

¿Cuál debería ser el meta-modelo?

Mantenlo simple: regresión logística, regresión ridge o un pequeño XGBoost. Un meta-aprendiz simple aprende pesos de combinación sensatos sin sobreajustar las salidas de los modelos base.

¿Cuándo no debería usar stacking?

Cuando tenga menos de unas 100 observaciones, la validación cruzada no puede producir suficientes predicciones fiables de Nivel-0 y la diversidad de modelos base es difícil de lograr, por lo que un random forest o XGBoost sintonizado individual es la opción más segura.

Métodos relacionados

Fuentes

  1. Wolpert, D.H. (1992). Stacked Generalization. Neural Networks, 5(2), 241–259.

    Abrir referencia DOI
    Copiado.
  2. van der Laan, M.J., Polley, E.C. & Hubbard, A.E. (2007). Super Learner. Statistical Applications in Genetics and Molecular Biology, 6(1), Article 25.

    Abrir referencia DOI
    Copiado.