Generalização Empilhada
- Proposto por
- David Wolpert
- Ano
- 1992
- Tipo
- meta-learning aggregation
- Família
- Ensemble
Este texto é uma tradução automática e ainda não foi revisado. Ler o original em inglês
O que ele faz?
A generalização empilhada, ou stacking, é um método de ensemble de dois níveis onde classificadores de nível base são treinados nos dados originais, e um meta-aprendiz é treinado nas predições dos classificadores base.
O meta-aprendiz aprende como combinar melhor as predições base, em vez de usar regras de agregação fixas. Introduzido por David Wolpert em 1992, o stacking alcança desempenho de ponta ao aprender automaticamente a ponderação ótima e os padrões de interação entre os modelos base.
A intuição por trás do método
O stacking aborda uma limitação fundamental da votação simples: nem todos os classificadores base são igualmente precisos, e regras fixas ignoram isso. Em vez de votação majoritária ou média simples, o stacking treina um modelo de segundo nível que aprende a confiar mais em classificadores base de alto desempenho e a desconfiar daqueles não confiáveis. O meta-aprendiz vê padrões nas predições base e aprende quando agregá-las. Pense nisso como ensinar um tomador de decisão a reconhecer em qual especialista acreditar em diferentes situações.
História
O stacking foi formalizado por David Wolpert em 1992 e estendido por Breiman (1996) para regressão. Permaneceu relativamente nicho até que competições de aprendizado de máquina (Kaggle, Netflix Prize) demonstraram sua eficácia. Variantes modernas como super-learner (Van der Laan & Polley, 2007) e blending refinaram ainda mais a abordagem. O stacking é agora uma técnica padrão em aprendizado de ensemble, particularmente em aprendizado de máquina competitivo.
Quando usar
Use stacking quando você tem classificadores base diversos com precisão individual moderada e deseja otimizar sua combinação. É especialmente eficaz quando os modelos base têm diferentes pontos fortes e fracos (por exemplo, árvores de decisão, redes neurais, SVMs). Evite stacking se os classificadores base forem altamente correlacionados ou se o custo computacional for crítico, pois o stacking requer o treinamento de um meta-modelo adicional.
Limitações e considerações
- Requer design cuidadoso para evitar overfitting: o meta-aprendiz pode memorizar predições base se não for validado adequadamente.
- Custo computacional aumentado: treinamento de K+1 modelos em vez de apenas K.
- A seleção do meta-aprendiz é frequentemente específica do problema; não há uma melhor escolha universal.
- A interpretabilidade diminui com o aumento da complexidade — difícil de entender a lógica final de tomada de decisão.
As condições da fonte não substituem a revisão científica independente nem a validação por um motor de análise.
Pontos fortes
- Aprende pesos de agregação ótimos automaticamente, superando regras de votação fixas.
- Adapta-se aos pontos fortes e fracos dos classificadores base individuais.
- Lida com aprendizes base heterogêneos (diferentes algoritmos, hiperparâmetros).
- Frequentemente alcança desempenho de ponta em competições de aprendizado de máquina.
Aplicações
- Análise de imagens médicas: empilhamento de CNNs, florestas aleatórias e gradient boosting para diagnosticar doenças de raios-X e ressonâncias magnéticas.
- Previsão financeira: combinação de predições ARIMA, redes neurais e SVM para prever preços de ações ou risco de crédito.
- Processamento de linguagem natural: empilhamento de BERT, GPT e classificadores de características manuais para classificação de texto e análise de sentimento.
- Competições Kaggle: soluções vencedoras frequentemente empregam stacking sofisticado de mais de 50 modelos base com múltiplos meta-aprendizes.
- Sistemas de recomendação: empilhamento de filtragem colaborativa, modelos baseados em conteúdo e modelos neurais para prever preferências do usuário.
Como funciona
Como funciona
Treinar K classificadores base diversos (modelos de nível 0) nos dados de treinamento originais usando diferentes algoritmos ou amostras de dados.
Gerar meta-características alimentando os dados de treinamento através de cada classificador base e coletando suas predições. Essas predições formam um novo conjunto de dados de treinamento para o meta-aprendiz.
Treinar um meta-aprendiz (modelo de nível 1, tipicamente um modelo simples como regressão logística) nas meta-características para aprender pesos de combinação ótimos.
Para prever uma nova amostra: primeiro passe-a por todos os classificadores base, colete suas predições como meta-características, depois passe pelo meta-aprendiz para produzir a predição final.
Erros comuns
- Treinar o meta-aprendiz em predições dos mesmos dados em que os classificadores base foram treinados (vazamento de informação). Use validação cruzada k-fold ou conjunto de validação holdout.
- Escolher um meta-aprendiz que seja muito complexo em relação ao número de classificadores base (por exemplo, um meta-aprendiz de floresta aleatória com apenas 3 predições base).
- Negligenciar a garantia de que os classificadores base sejam suficientemente diversos — o stacking amplifica a correlação em vez de reduzi-la.
- Ajuste excessivo dos hiperparâmetros do meta-aprendiz, o que pode levar ao overfitting nas meta-características de validação.
Perguntas frequentes
Como evitar overfitting no stacking?
Use validação cruzada k-fold para gerar meta-características: as predições de teste de cada fold se tornam dados de meta-treinamento. Isso impede que o meta-aprendiz veja predições em dados usados para treinar classificadores base. Sempre use um conjunto de validação holdout separado para avaliação final.
Qual modelo devo usar como meta-aprendiz?
Modelos simples geralmente funcionam melhor: regressão logística, regressão linear ou uma pequena árvore de decisão. Meta-aprendizes complexos (florestas aleatórias, redes neurais) correm o risco de overfitting às meta-características. Comece com o simples e adicione complexidade apenas se o desempenho da validação estagnar.
Os classificadores base devem ser treinados nos mesmos dados?
Não. Classificadores base diversos treinados em diferentes amostras de dados (bagging) ou com diferentes algoritmos melhoram a generalização do meta-aprendiz. Classificadores base idênticos produzem predições idênticas, oferecendo nenhuma informação útil ao meta-aprendiz.
Posso usar stacking com regressão e classificação?
Sim. Para regressão, o meta-aprendiz prevê valores contínuos a partir das saídas dos regressores base. Para classificação, ele prevê classes a partir de pontuações de probabilidade dos classificadores base. O princípio é idêntico.
Métodos relacionados
Fontes
Wolpert, D. H. (1992). Stacked generalization. Neural Networks, 5(2), 241-259.
Abrir referência DOICopiado.Breiman, L. (1996). Stacked regressions. Machine Learning, 24(1), 49-64.
Abrir referência DOICopiado.