Gradient Boosting Semi-supervisionado
- Proposto por
- Chapelle, Scholkopf & Zien (eds.); applied to GBM variants in subsequent literature
- Ano
- 2006–2010s
- Tipo
- Semi-supervised ensemble (self-training + gradient boosted trees)
- Família
- Machine learning
Este texto é uma tradução automática e ainda não foi revisado. Ler o original em inglês
O que ele faz?
O gradient boosting semi-supervisionado combina árvores de gradient boosting com auto-treinamento ou pseudo-rotulagem para explorar grandes conjuntos de dados não rotulados ao lado de um pequeno conjunto rotulado.
Um ajuste inicial de GBM em dados rotulados atribui previsões confiantes a exemplos não rotulados; esses pontos pseudo-rotulados são incorporados ao treinamento e o modelo é re-ajustado, iterando até a convergência. Isso permite que os praticantes aproveitem dados não rotulados baratos quando os rótulos são escassos ou caros.
A intuição por trás do método
Imagine que você tem 200 respostas de pesquisa rotuladas e 10.000 não rotuladas. Um modelo de gradient boosting treinado apenas nos 200 exemplos rotulados já é razoavelmente bom. O gradient boosting semi-supervisionado usa esse modelo para classificar as respostas não rotuladas sobre as quais ele se sente confiante, rotula-as provisoriamente e, em seguida, retreina no conjunto combinado muito maior. O ciclo se repete: a cada rodada, o modelo melhora porque vê mais exemplos, e melhores previsões se traduzem em pseudo-rótulos de maior qualidade para a próxima rodada. A maioria não rotulada atua efetivamente como um dispositivo gratuito de regularização e aumento de dados.
História
A aprendizagem semi-supervisionada foi sistematizada no volume de 2006 da MIT Press de Chapelle, Scholkopf e Zien. A variante de auto-treinamento / pseudo-rotulagem remonta a Yarowsky (1995) em PNL e foi posteriormente formalizada por Lee (2013) no contexto de redes neurais profundas, mas o mesmo princípio se aplica diretamente às árvores de gradient boosting. CatBoost (Prokhorenkova et al., 2018) introduziu extensões semi-supervisionadas integradas; trabalhos subsequentes exploraram cronogramas de pseudo-rotulagem e calibração de confiança especificamente para GBMs em ambientes biomédicos e industriais ao longo das décadas de 2010 e 2020.
Quando usar
Use gradient boosting semi-supervisionado quando os dados rotulados forem escassos (por exemplo, menos de algumas centenas de exemplos), mas grandes quantidades de dados não rotulados da mesma distribuição estiverem disponíveis, e a coleta de rótulos adicionais for cara. É bem adequado para tarefas de classificação e regressão tabulares onde um modelo de gradient boosting já tem um desempenho decente apenas no conjunto rotulado. Evite-o quando: os dados rotulados e não rotulados vêm de distribuições diferentes (desvio de distribuição amplificará o erro); a precisão do modelo base em dados rotulados for muito baixa (pseudo-rótulos ruins corrompem o retreinamento); ou o conjunto rotulado já for grande o suficiente para saturar um GBM padrão, caso em que a sobrecarga semi-supervisionada produz benefício insignificante.
Limitações e considerações
- A qualidade do pseudo-rótulo depende do modelo base; um modelo inicial fraco pode corromper iterações subsequentes.
- Assume que os dados rotulados e não rotulados são extraídos da mesma distribuição — violar isso causa amplificação de erro.
- O ajuste do limiar (tau) adiciona um hiperparâmetro sem um padrão principiado.
- O custo computacional cresce com cada iteração de auto-treinamento, especialmente em grandes conjuntos não rotulados.
- A validação deve ser realizada apenas em dados rotulados; a validação cruzada padrão no conjunto aumentado infla as estimativas.
As condições da fonte não substituem a revisão científica independente nem a validação por um motor de análise.
Pontos fortes
- Aproveita dados não rotulados baratos para melhorar o desempenho quando os rótulos são caros ou escassos.
- Compatível com qualquer implementação de gradient boosting (XGBoost, LightGBM, CatBoost, scikit-learn) sem alterações arquitetônicas.
- A limitação de confiança fornece um portão de qualidade embutido que limita o ruído de pseudo-rótulos.
- Mantém todo o poder preditivo e a modelagem de interação de características das árvores de gradient boosting.
- O refinamento iterativo permite a incorporação progressiva de dados não rotulados à medida que o modelo melhora.
Aplicações
- Diagnóstico médico onde registros de pacientes rotulados são limitados, mas notas clínicas não rotuladas são abundantes.
- Detecção de defeitos industriais usando um pequeno conjunto de exemplos de falhas rotuladas e um grande fluxo de produção não rotulado.
- Classificação de texto e análise de sentimento com exemplos semente rotulados aumentados por corpora não rotulados.
- Pontuação de crédito quando apenas uma fração das aplicações históricas tem resultados de inadimplência verificados.
- Sensoriamento remoto e classificação geoespacial combinando poucas medições de campo rotuladas com grandes características de imagens de satélite não rotuladas.
Como funciona
Como funciona
Um modelo padrão de gradient boosting (XGBoost, LightGBM, CatBoost, scikit-learn GBM, etc.) é treinado nos exemplos rotulados disponíveis usando minimização de perda supervisionada padrão. Este modelo base deve ser pelo menos modestamente preciso para que a pseudo-rotulagem ajude em vez de prejudicar.
O modelo base é aplicado a cada exemplo não rotulado. Previsões que excedem um limiar de confiança tau (por exemplo, probabilidade prevista acima de 0,9 para classificação, ou previsões dentro de um intervalo estreito para regressão) são aceitas como pseudo-rótulos. A filtragem de alta confiança limita a propagação de erros nas rodadas iniciais.
Fórmula
\hat{y}_u = f^{(t)}(x_u),\; \text{confidence} \geq \tauOs exemplos pseudo-rotulados aceitos são anexados ao conjunto de treinamento rotulado, opcionalmente ponderados abaixo de 1,0 para refletir sua origem incerta. O conjunto de dados combinado é agora substancialmente maior e pode cobrir melhor o espaço de características.
Um novo modelo de gradient boosting é treinado do zero (ou com aquecimento) no conjunto de dados aumentado. Como o gradient boosting é inerentemente sequencial e sensível ao ruído de rótulos, o monitoramento da perda de validação no conjunto rotulado retido é essencial para detectar degradação causada por pseudo-rótulos ruidosos.
As etapas 2 a 4 se repetem por um número fixo de rodadas ou até a convergência, definida como mudança insignificante na métrica de validação ou nenhum novo exemplo não rotulado cruzando o limiar de confiança. Em cada rodada, o limiar de confiança pode ser relaxado gradualmente para incluir mais dados pseudo-rotulados.
Erros comuns
- Usar dados pseudo-rotulados na dobra de validação, o que dá uma estimativa de desempenho otimistamente enviesada.
- Definir o limiar de confiança muito baixo nas rodadas iniciais, inundando o retreinamento com rótulos ruidosos e causando transferência negativa.
- Ignorar o desvio de distribuição entre dados rotulados e não rotulados, o que pode degradar o desempenho abaixo da linha de base supervisionada.
- Não ponderar os exemplos pseudo-rotulados abaixo de 1,0, dando às previsões incertas o mesmo status dos rótulos verificados por humanos.
- Parar em uma rodada de pseudo-rotulagem em vez de iterar até a convergência.
Perguntas frequentes
Como escolho o limiar de confiança?
Comece de forma conservadora — para classificação binária, valores acima de 0,9 são comuns na rodada 1. Monitore a precisão da validação do conjunto rotulado após cada rodada e relaxe o limiar gradualmente apenas se o desempenho se mantiver ou melhorar. Não há um valor principiado único; trate-o como um hiperparâmetro ajustável.
Os exemplos pseudo-rotulados devem ser ponderados igualmente aos rotulados?
Geralmente não. Atribuir um peso menor que 1,0 (por exemplo, 0,5) aos exemplos pseudo-rotulados reduz a influência de previsões incertas na função de perda. Algumas implementações vinculam o peso à confiança prevista pelo modelo, dando maior peso a pseudo-rótulos de maior confiança.
Quando o gradient boosting semi-supervisionado prejudica o desempenho?
Prejudica quando o modelo inicial é muito fraco para produzir pseudo-rótulos confiáveis, quando os dados rotulados e não rotulados diferem na distribuição, ou quando o conjunto não rotulado é pequeno em relação ao conjunto rotulado. Nesses cenários, um GBM supervisionado padrão apenas com dados rotulados é geralmente mais seguro.
Isso é diferente do modo semi-supervisionado integrado do CatBoost?
O CatBoost implementa o treinamento semi-supervisionado nativamente, otimizando conjuntamente uma perda supervisionada em dados rotulados e uma perda não supervisionada ou de pseudo-rótulo em dados não rotulados dentro de uma única execução de treinamento, o que pode ser mais estável do que a pseudo-rotulagem externa iterativa. Loops manuais de auto-treinamento são mais gerais e funcionam com qualquer biblioteca GBM.
Quantas iterações de pseudo-rotulagem são necessárias?
Normalmente, de 3 a 10 rodadas são suficientes; a convergência é detectada quando a métrica de validação do conjunto rotulado para de melhorar ou o número de pseudo-rótulos recém-aceitos cai para perto de zero. Mais rodadas correm o risco de compor erros de pseudo-rótulo.
Métodos relacionados
Fontes
Yarowsky, D. (1995). Unsupervised word sense disambiguation rivaling supervised methods. Proceedings of ACL 1995, 189–196. (Foundational self-training framework underlying pseudo-label approaches.)
Abrir referência da publicaçãoCopiado.Chapelle, O., Scholkopf, B., & Zien, A. (Eds.) (2006). Semi-Supervised Learning. MIT Press.
ISBN: 978-0-262-03358-9Copiado.