Empilhamento de Modelos (Stacking)
- Proposto por
- Wolpert, D.H.
- Ano
- 1992
- Tipo
- Ensemble (heterogeneous meta-learning)
Este texto é uma tradução automática e ainda não foi revisado. Ler o original em inglês
O que ele faz?
Stacking, ou generalização empilhada, é um método de ensemble introduzido por David Wolpert em 1992 que combina as saídas de vários modelos base diferentes (Nível-0) através de um modelo meta separado (Nível-1).
Ao contrário de bagging e boosting, ele usa deliberadamente tipos de modelos heterogêneos e é a estratégia padrão de estágio final em competições Kaggle.
A intuição por trás do método
Diferentes famílias de modelos cometem erros diferentes: um ensemble de árvores, uma máquina de vetores de suporte e um modelo linear capturam os dados cada um à sua maneira. Stacking trata suas previsões como novas características e treina mais um modelo para aprender a melhor forma de combiná-las, de modo que o modelo meta possa confiar em cada modelo base onde ele é mais forte e descartá-lo onde é mais fraco — produzindo uma previsão combinada que geralmente supera qualquer modelo único.
História
A generalização empilhada foi introduzida por David Wolpert em 1992 como uma forma de combinar múltiplos generalizadores através de um modelo de nível superior. A ideia foi posteriormente formalizada e recebeu forte base teórica por van der Laan, Polley e Hubbard em 2007 sob o nome Super Learner, que usa validação cruzada para combinar uma biblioteca de aprendizes base. Desde então, stacking tornou-se a estratégia padrão de último estágio em competições de aprendizado de máquina, onde ensembles de modelos heterogêneos rotineiramente lideram os placares.
Quando usar
Use stacking quando a precisão preditiva for a prioridade e você tiver vários modelos base razoavelmente fortes e diversos para combinar, em dados transversais com características contínuas, categóricas ou binárias e pelo menos cerca de 100 observações. Não requer dados normalmente distribuídos. Abaixo de cerca de 100 observações, a validação cruzada k-fold não consegue gerar previsões de Nível-0 suficientes e confiáveis, e o modelo meta sofre sobreajuste, então um único modelo ajustado, como floresta aleatória ou XGBoost, é mais seguro.
Limitações e considerações
- Requer uma amostra razoavelmente grande (cerca de 100+) para que a validação cruzada k-fold possa gerar previsões de Nível-0 confiáveis.
- Os ganhos diminuem quando os modelos base são altamente correlacionados em vez de diversos.
- Mais complexo e computacionalmente intensivo do que um único modelo, e mais difícil de interpretar como um todo.
- Em amostras pequenas, a diversidade de modelos base não pode ser alcançada e um único modelo é geralmente suficiente.
As condições da fonte não substituem a revisão científica independente nem a validação por um motor de análise.
Pontos fortes
- Frequentemente alcança a mais alta precisão preditiva explorando modelos base heterogêneos que cometem erros diferentes.
- Flexível: qualquer mistura de famílias de modelos pode servir como aprendizes base, com um modelo meta simples no topo.
- Poucas suposições — sem requisito de normalidade, e lida com características contínuas, categóricas e binárias.
- A estratégia comprovada de estágio final em cenários de previsão competitiva, como Kaggle.
Aplicações
- Ensembling de estágio final em competições de modelagem preditiva, como Kaggle.
- Combinação de modelos heterogêneos para classificação e previsão de alta precisão.
- Ensembles Super Learner em bioestatística e epidemiologia.
- Combinar modelos fortes, mas diversos, quando extrair precisão adicional é importante.
Como funciona
Como funciona
Um conjunto diversificado de aprendizes base (Nível-0) é treinado nos dados — por exemplo, uma floresta aleatória, um modelo de gradient boosting e uma SVM. Quanto mais variados e mutuamente independentes esses modelos forem, mais o empilhamento pode ganhar; quando os modelos base são altamente correlacionados entre si, o benefício do stacking diminui.
As previsões de Nível-0 são produzidas através de validação cruzada k-fold, em vez de nos mesmos dados em que os modelos base foram ajustados. Este esquema out-of-fold é essencial para prevenir vazamento de dados: as meta-características de cada observação vêm de modelos que não a viram durante o treinamento.
Um modelo meta (Nível-1) é treinado nas saídas dos modelos base validadas cruzadamente para produzir a previsão final. O meta-aprendiz é geralmente mantido simples — regressão logística, regressão ridge ou um pequeno XGBoost — de modo que ele aprenda pesos sensatos para combinar os modelos base sem ele mesmo sofrer sobreajuste.
Fórmula
\hat{y} = g\big(f_1(x), f_2(x), \dots, f_M(x)\big)Erros comuns
- Gerar previsões de Nível-0 nos mesmos dados em que os modelos base foram treinados, causando vazamento de dados para o modelo meta.
- Empilhar muitos modelos base altamente correlacionados e esperar um grande ganho.
- Usar um modelo meta excessivamente complexo que sofre sobreajuste nas saídas dos modelos base em vez de um regressor simples.
- Aplicar stacking a um pequeno conjunto de dados onde a diversidade de modelos base e a validação cruzada confiável são impossíveis.
Perguntas frequentes
Como o stacking difere de bagging e boosting?
Bagging e boosting constroem muitos modelos do mesmo tipo, enquanto stacking combina deliberadamente famílias de modelos heterogêneos e aprende a combiná-los com um modelo meta separado. Essa diversidade é de onde vem a vantagem do stacking.
Por que usar validação cruzada para construir as meta-características?
Se o modelo meta for treinado em previsões que os modelos base fizeram em seus próprios dados de treinamento, ocorre vazamento de informação e o modelo empilhado sofre sobreajuste (overfitting). Produzir previsões de Nível-0 out-of-fold via validação cruzada k-fold fornece ao modelo meta entradas honestas.
Qual deve ser o modelo meta?
Mantenha-o simples — regressão logística, regressão ridge ou um pequeno XGBoost. Um meta-aprendiz simples aprende pesos de combinação sensatos sem sofrer sobreajuste nas saídas dos modelos base.
Quando não devo usar stacking?
Quando você tem menos de cerca de 100 observações, a validação cruzada não consegue produzir previsões de Nível-0 confiáveis suficientes e a diversidade de modelos base é difícil de alcançar, então uma floresta aleatória ou XGBoost ajustado individualmente é a escolha mais segura.
Métodos relacionados
Fontes
Wolpert, D.H. (1992). Stacked Generalization. Neural Networks, 5(2), 241–259.
Abrir referência DOICopiado.van der Laan, M.J., Polley, E.C. & Hubbard, A.E. (2007). Super Learner. Statistical Applications in Genetics and Molecular Biology, 6(1), Article 25.
Abrir referência DOICopiado.