Skip to content
Voltar aos resultados

Generalização Empilhada

Proposto por
David Wolpert
Ano
1992
Tipo
meta-learning aggregation
Família
Ensemble

Este texto é uma tradução automática e ainda não foi revisado. Ler o original em inglês

Tamanho da fonte

O que ele faz?

A generalização empilhada, ou stacking, é um método de ensemble de dois níveis onde classificadores de nível base são treinados nos dados originais, e um meta-aprendiz é treinado nas predições dos classificadores base.

O meta-aprendiz aprende como combinar melhor as predições base, em vez de usar regras de agregação fixas. Introduzido por David Wolpert em 1992, o stacking alcança desempenho de ponta ao aprender automaticamente a ponderação ótima e os padrões de interação entre os modelos base.

A intuição por trás do método

O stacking aborda uma limitação fundamental da votação simples: nem todos os classificadores base são igualmente precisos, e regras fixas ignoram isso. Em vez de votação majoritária ou média simples, o stacking treina um modelo de segundo nível que aprende a confiar mais em classificadores base de alto desempenho e a desconfiar daqueles não confiáveis. O meta-aprendiz vê padrões nas predições base e aprende quando agregá-las. Pense nisso como ensinar um tomador de decisão a reconhecer em qual especialista acreditar em diferentes situações.

História

O stacking foi formalizado por David Wolpert em 1992 e estendido por Breiman (1996) para regressão. Permaneceu relativamente nicho até que competições de aprendizado de máquina (Kaggle, Netflix Prize) demonstraram sua eficácia. Variantes modernas como super-learner (Van der Laan & Polley, 2007) e blending refinaram ainda mais a abordagem. O stacking é agora uma técnica padrão em aprendizado de ensemble, particularmente em aprendizado de máquina competitivo.

Quando usar

Use stacking quando você tem classificadores base diversos com precisão individual moderada e deseja otimizar sua combinação. É especialmente eficaz quando os modelos base têm diferentes pontos fortes e fracos (por exemplo, árvores de decisão, redes neurais, SVMs). Evite stacking se os classificadores base forem altamente correlacionados ou se o custo computacional for crítico, pois o stacking requer o treinamento de um meta-modelo adicional.

Limitações e considerações

  • Requer design cuidadoso para evitar overfitting: o meta-aprendiz pode memorizar predições base se não for validado adequadamente.
  • Custo computacional aumentado: treinamento de K+1 modelos em vez de apenas K.
  • A seleção do meta-aprendiz é frequentemente específica do problema; não há uma melhor escolha universal.
  • A interpretabilidade diminui com o aumento da complexidade — difícil de entender a lógica final de tomada de decisão.

As condições da fonte não substituem a revisão científica independente nem a validação por um motor de análise.

Pontos fortes

  • Aprende pesos de agregação ótimos automaticamente, superando regras de votação fixas.
  • Adapta-se aos pontos fortes e fracos dos classificadores base individuais.
  • Lida com aprendizes base heterogêneos (diferentes algoritmos, hiperparâmetros).
  • Frequentemente alcança desempenho de ponta em competições de aprendizado de máquina.

Aplicações

  • Análise de imagens médicas: empilhamento de CNNs, florestas aleatórias e gradient boosting para diagnosticar doenças de raios-X e ressonâncias magnéticas.
  • Previsão financeira: combinação de predições ARIMA, redes neurais e SVM para prever preços de ações ou risco de crédito.
  • Processamento de linguagem natural: empilhamento de BERT, GPT e classificadores de características manuais para classificação de texto e análise de sentimento.
  • Competições Kaggle: soluções vencedoras frequentemente empregam stacking sofisticado de mais de 50 modelos base com múltiplos meta-aprendizes.
  • Sistemas de recomendação: empilhamento de filtragem colaborativa, modelos baseados em conteúdo e modelos neurais para prever preferências do usuário.

Como funciona

Como funciona

1

Treinar K classificadores base diversos (modelos de nível 0) nos dados de treinamento originais usando diferentes algoritmos ou amostras de dados.

2

Gerar meta-características alimentando os dados de treinamento através de cada classificador base e coletando suas predições. Essas predições formam um novo conjunto de dados de treinamento para o meta-aprendiz.

3

Treinar um meta-aprendiz (modelo de nível 1, tipicamente um modelo simples como regressão logística) nas meta-características para aprender pesos de combinação ótimos.

4

Para prever uma nova amostra: primeiro passe-a por todos os classificadores base, colete suas predições como meta-características, depois passe pelo meta-aprendiz para produzir a predição final.

Erros comuns

  • Treinar o meta-aprendiz em predições dos mesmos dados em que os classificadores base foram treinados (vazamento de informação). Use validação cruzada k-fold ou conjunto de validação holdout.
  • Escolher um meta-aprendiz que seja muito complexo em relação ao número de classificadores base (por exemplo, um meta-aprendiz de floresta aleatória com apenas 3 predições base).
  • Negligenciar a garantia de que os classificadores base sejam suficientemente diversos — o stacking amplifica a correlação em vez de reduzi-la.
  • Ajuste excessivo dos hiperparâmetros do meta-aprendiz, o que pode levar ao overfitting nas meta-características de validação.

Perguntas frequentes

Como evitar overfitting no stacking?

Use validação cruzada k-fold para gerar meta-características: as predições de teste de cada fold se tornam dados de meta-treinamento. Isso impede que o meta-aprendiz veja predições em dados usados para treinar classificadores base. Sempre use um conjunto de validação holdout separado para avaliação final.

Qual modelo devo usar como meta-aprendiz?

Modelos simples geralmente funcionam melhor: regressão logística, regressão linear ou uma pequena árvore de decisão. Meta-aprendizes complexos (florestas aleatórias, redes neurais) correm o risco de overfitting às meta-características. Comece com o simples e adicione complexidade apenas se o desempenho da validação estagnar.

Os classificadores base devem ser treinados nos mesmos dados?

Não. Classificadores base diversos treinados em diferentes amostras de dados (bagging) ou com diferentes algoritmos melhoram a generalização do meta-aprendiz. Classificadores base idênticos produzem predições idênticas, oferecendo nenhuma informação útil ao meta-aprendiz.

Posso usar stacking com regressão e classificação?

Sim. Para regressão, o meta-aprendiz prevê valores contínuos a partir das saídas dos regressores base. Para classificação, ele prevê classes a partir de pontuações de probabilidade dos classificadores base. O princípio é idêntico.

Métodos relacionados

Fontes

  1. Wolpert, D. H. (1992). Stacked generalization. Neural Networks, 5(2), 241-259.

    Abrir referência DOI
    Copiado.
  2. Breiman, L. (1996). Stacked regressions. Machine Learning, 24(1), 49-64.

    Abrir referência DOI
    Copiado.