Ensemble de Stacking Semissupervisionado
- Proposto por
- Combines Wolpert (1992) stacking with semi-supervised learning principles
- Ano
- 2000s–2010s
- Tipo
- Ensemble (stacked generalization with unlabeled data augmentation)
- Família
- Machine learning
Este texto é uma tradução automática e ainda não foi revisado. Ler o original em inglês
O que ele faz?
O Ensemble de Stacking Semissupervisionado estende o arcabouço clássico de generalização empilhada para cenários onde apenas uma fração dos exemplos de treinamento possui rótulos.
Os aprendizes base são primeiramente treinados em dados rotulados, e então usados para atribuir pseudorrótulos a exemplos não rotulados; o conjunto de dados expandido treina modelos base mais robustos cujas previsões fora da dobra formam a entrada para um meta-aprendiz, resultando em um ensemble de duas camadas que explora tanto a estrutura rotulada quanto a não rotulada.
A intuição por trás do método
O Stacking já supera modelos individuais ao treinar um meta-aprendiz nas previsões de diversos modelos base. O stacking semissupervisionado adiciona um truque adicional: em vez de descartar o grande conjunto de exemplos não rotulados, ele usa os modelos base atuais para adivinhar seus rótulos com um certo limiar de confiança, incorpora esses exemplos pseudorrotulados de volta ao treinamento, retreina os modelos base e repete o processo. Cada iteração fornece aos modelos base mais dados para aprender, de modo que as meta-características que eles produzem para o meta-aprendiz se tornam progressivamente mais informativas — tudo sem exigir qualquer anotação humana adicional.
História
A generalização empilhada foi formalizada por Wolpert em 1992 como uma forma de combinar múltiplos modelos através de um meta-aprendiz aprendido. Os princípios de aprendizado semissupervisionado — usando dados não rotulados para melhorar modelos supervisionados — foram consolidados por Chapelle, Schölkopf e Zien em seu volume de 2006 da MIT Press. A combinação explícita dos dois, o stacking semissupervisionado, surgiu na literatura de ML aplicada ao longo dos anos 2000 e 2010, com adoção particular em competições de aprendizado de máquina e domínios onde a anotação é escassa.
Quando usar
Use o stacking semissupervisionado quando você tiver uma tarefa de classificação ou regressão com um pequeno conjunto de dados rotulados e um grande conjunto de vetores de características não rotulados — um cenário comum em imagens médicas, PNL ou sensoriamento remoto, onde a anotação é cara. É especialmente eficaz quando os dados não rotulados são provenientes da mesma distribuição que os dados rotulados e quando pelo menos 3 a 5 famílias diversas de aprendizes base estão disponíveis. Evite-o quando o conjunto não rotulado for pequeno (não oferecendo benefício sobre o stacking padrão), quando o conjunto rotulado já for grande o suficiente para que os ganhos semissupervisionados sejam marginais, ou quando houver suspeita de mudança de distribuição entre exemplos rotulados e não rotulados, pois os erros de pseudorrótulos se acumularão ao longo das iterações.
Limitações e considerações
- Erros de pseudorrótulos se acumulam ao longo das iterações; se os modelos base iniciais forem fracos, pseudorrótulos errôneos podem degradar em vez de melhorar o desempenho.
- A superfície de hiperparâmetros é ampla: número de iterações, limiar de confiança, número de dobras e diversidade do aprendiz base interagem.
- Computacionalmente caro: o retreinamento k-fold em múltiplos aprendizes base é repetido por várias iterações, então o tempo de execução cresce rapidamente.
- Requer que a distribuição não rotulada corresponda de perto à distribuição rotulada; a mudança de covariáveis invalida a suposição de pseudorrotulagem.
- A interpretabilidade é baixa — duas camadas empilhadas mais a pseudorrotulagem iterativa dificultam o rastreamento de como qualquer previsão individual foi formada.
As condições da fonte não substituem a revisão científica independente nem a validação por um motor de análise.
Pontos fortes
- Aproveita grandes conjuntos de dados não rotulados sem custo adicional de anotação, frequentemente melhorando substancialmente a precisão em relação ao stacking apenas supervisionado.
- Herda todos os benefícios do stacking clássico: a diversidade entre os aprendizes base reduz a variância e o viés simultaneamente.
- Flexível: qualquer aprendiz supervisionado pode servir como modelo base ou meta-aprendiz, tornando o arcabouço amplamente aplicável.
- A aplicação de limiares de confiança oferece um mecanismo fundamentado para controlar a qualidade dos pseudorrótulos introduzidos em cada iteração.
- Escala bem — dados não rotulados são baratos, então o método se torna mais valioso à medida que a razão de exemplos não rotulados para rotulados cresce.
Aplicações
- Classificação de imagens médicas onde exames anotados são escassos, mas exames não anotados são abundantes.
- Tarefas de processamento de linguagem natural (sentimento, tópico) com grandes corpora não rotulados e pequenos conjuntos de treinamento rotulados.
- Classificação de cobertura do solo por sensoriamento remoto usando abundante imagens de satélite com poucos rótulos de verdade terrestre.
- Detecção de fraude onde casos de fraude confirmados são raros em comparação com transações não revisadas.
- Tarefas de bioinformática, como previsão de função de proteínas com exemplos limitados verificados experimentalmente.
Como funciona
Como funciona
Os aprendizes base (por exemplo, árvores com gradiente impulsionado, SVMs, redes neurais) são treinados no subconjunto rotulado. Eles então preveem as probabilidades de classe para cada exemplo não rotulado; exemplos cuja probabilidade máxima prevista excede um limiar de confiança recebem pseudorrótulos e são adicionados ao conjunto de treinamento de trabalho para a próxima iteração.
Diversos aprendizes base são (re)treinados no conjunto combinado de exemplos verdadeiramente rotulados e pseudorrotulados usando validação cruzada k-fold para evitar vazamento de dados. A diversidade entre os modelos base — na família de algoritmos, força de regularização ou subconjuntos de características — é crítica; pilhas homogêneas ganham pouco com a segunda camada.
As previsões fora da dobra de cada aprendiz base nos exemplos rotulados são coletadas em uma matriz de meta-características. Cada linha corresponde a um exemplo de treinamento rotulado; cada coluna é a previsão de um modelo base estimado em uma dobra que não viu aquele exemplo, preservando uma representação imparcial para o meta-aprendiz.
Um meta-aprendiz (comumente regressão logística, uma rede neural rasa ou outro modelo de árvore) é treinado na matriz de meta-características com os rótulos verdadeiros. Ele aprende a melhor forma de combinar as saídas dos aprendizes base, corrigindo seus vieses sistemáticos e explorando suas forças complementares.
As Etapas 1 a 4 são repetidas por um número fixo de iterações ou até que o conjunto de pseudorrótulos se estabilize (poucos exemplos novos cruzam o limiar de confiança). Em cada passagem, o limiar de confiança pode ser ligeiramente relaxado para incorporar mais dados não rotulados, mas é preciso cautela: um limiar muito baixo propaga pseudorrótulos errôneos e degrada o desempenho.
Erros comuns
- Definir o limiar de confiança muito baixo nas iterações iniciais, inundando o conjunto de treinamento com pseudorrótulos ruidosos que degradam a qualidade do aprendiz base.
- Usar apenas um ou dois aprendizes base altamente correlacionados; sem diversidade, o meta-aprendiz recebe sinais redundantes e a pilha não supera um único modelo.
- Não usar validação cruzada ao gerar meta-características, causando vazamento de dados que infla a precisão do treinamento e engana o treinamento do meta-aprendiz.
- Avaliar o desempenho final em exemplos pseudorrotulados em vez de um conjunto de teste verdadeiramente rotulado e retido, produzindo métricas excessivamente otimistas.
- Ignorar a convergência — executar muitas iterações depois que o conjunto de pseudorrótulos se estabilizou desperdiça computação e corre o risco de overfitting em previsões confiantes, mas erradas.
Perguntas frequentes
Como escolho o limiar de confiança para a pseudorrotulagem?
Um ponto de partida comum é 0,9 ou superior para classificação, o que significa que apenas exemplos onde a probabilidade da classe principal excede 90% recebem um pseudorrótulo. O limiar pode ser relaxado em iterações posteriores à medida que os modelos base melhoram. Sempre monitore a precisão de validação ao longo das iterações para identificar valores de limiar que introduzem muito ruído.
Quais aprendizes base devo usar?
A diversidade é o princípio chave. Uma combinação típica emparelha árvores com gradiente impulsionado (por exemplo, XGBoost), um SVM com um kernel radial e uma rede neural. A combinação de modelos que diferem no perfil de viés-variância e nas relações de características que eles capturam produz as meta-características mais informativas para a segunda camada.
Como isso difere do stacking padrão?
O stacking padrão usa apenas dados rotulados em todo o processo. O stacking semissupervisionado adiciona um loop de pseudorrotulagem que expande iterativamente o conjunto de treinamento efetivo com exemplos não rotulados de alta confiança, sendo, portanto, mais útil quando os dados rotulados são escassos e os dados não rotulados são abundantes.
Ele pode lidar com regressão, assim como classificação?
Sim. Para regressão, o limiar de confiança é substituído por um critério baseado em resíduos — por exemplo, incluindo exemplos pseudorrotulados cujo valor previsto é estável (baixa variância) entre os modelos base. O meta-aprendiz então combina saídas contínuas em vez de probabilidades de classe.
Qual é o risco de erros de propagação de rótulos?
Se os modelos base iniciais forem imprecisos, suas previsões confiantes ainda podem estar erradas, e esses erros são reforçados em iterações subsequentes. Usar um alto limiar de confiança inicial, monitorar um conjunto de validação rotulado retido ao longo das iterações e parar quando o desempenho de validação parar de melhorar são as principais defesas.
Métodos relacionados
Fontes
Wolpert, D. H. (1992). Stacked generalization. Neural Networks, 5(2), 241–259.
Abrir referência DOICopiado.Chapelle, O., Schölkopf, B., & Zien, A. (Eds.). (2006). Semi-Supervised Learning. MIT Press.
ISBN: 978-0-262-03358-9Copiado.