Regressão Logística Semissupervisionada
- Proposto por
- Nigam, K.; McCallum, A. et al. (EM variant); Yarowsky, D. (self-training)
- Ano
- 1995–2000
- Tipo
- Semi-supervised classifier
- Família
- Machine learning
Este texto é uma tradução automática e ainda não foi revisado. Ler o original em inglês
O que ele faz?
A regressão logística semissupervisionada estende o classificador logístico padrão incorporando dados não rotulados durante o treinamento.
Utilizando invólucros de auto-treinamento (self-training), expectativa-maximização (EM) ou propagação de rótulos (label propagation), ela atribui iterativamente rótulos suaves a exemplos não rotulados e refina os parâmetros do modelo, melhorando a generalização quando os dados rotulados são escassos em relação ao conjunto de dados completo.
A intuição por trás do método
Imagine treinar um classificador de doenças com apenas 50 diagnósticos confirmados, mas 5.000 registros de pacientes cujo resultado é desconhecido. A regressão logística padrão ignora completamente esses registros não rotulados. A regressão logística semissupervisionada usa as próprias previsões probabilísticas do modelo para atribuir rótulos provisórios aos casos não rotulados, retreina no conjunto ampliado de pseudo-rótulos e repete. Cada iteração aproxima a fronteira de decisão em direção a regiões de alta densidade de dados, permitindo efetivamente que os dados não rotulados guiem onde a fronteira pertence, sem exigir anotação especializada e cara.
História
A aprendizagem semissupervisionada para classificadores probabilísticos foi sistematizada no final dos anos 1990. Yarowsky (1995) popularizou o auto-treinamento para tarefas de PLN, e Nigam et al. (2000) formalizaram a abordagem EM para classificação de texto com modelos naive Bayes e semelhantes à regressão logística. O volume de 2006 da MIT Press de Chapelle, Scholkopf e Zien consolidou os fundamentos teóricos. A regressão logística semissupervisionada é agora uma técnica padrão em cenários onde os orçamentos de anotação são limitados, implementada no invólucro SelfTrainingClassifier do scikit-learn e em bibliotecas dedicadas de SSL.
Quando usar
Escolha a regressão logística semissupervisionada quando os exemplos rotulados forem poucos — tipicamente quando a fração rotulada for inferior a 20% dos dados totais disponíveis — mas um grande conjunto de dados não rotulados da mesma distribuição existir e a anotação for cara. É bem adequada para classificação de texto, predição de resultados clínicos e pesquisa de levantamentos onde os resultados são parcialmente observados. Não a utilize quando os dados não rotulados vierem de uma distribuição diferente do conjunto rotulado (desvio de covariável), quando os rótulos estiverem faltando não aleatoriamente e a falta for informativa, ou quando o conjunto rotulado já for grande o suficiente para que uma regressão logística padrão atinja bom desempenho — nesses casos, o ruído do pseudo-rótulo adiciona mais prejuízo do que benefício.
Limitações e considerações
- Se os dados rotulados iniciais forem muito poucos ou não representativos, os pseudo-rótulos iniciais serão ruidosos e os erros se acumularão ao longo das iterações.
- Assume que os dados não rotulados são extraídos da mesma distribuição que os dados rotulados — violado em muitos cenários de coleta do mundo real.
- A convergência para um ótimo local não garante melhoria sobre a linha de base supervisionada.
- Limiares de confiança no auto-treinamento requerem ajuste e interagem com o desbalanceamento de classes de maneiras não óbvias.
- A interpretação dos coeficientes torna-se mais difícil porque o conjunto de treinamento efetivo inclui rótulos gerados algoritmicamente.
As condições da fonte não substituem a revisão científica independente nem a validação por um motor de análise.
Pontos fortes
- Explora grandes conjuntos de dados não rotulados para melhorar um classificador logístico sem custo adicional de rotulagem.
- Preserva a interpretabilidade dos coeficientes de regressão logística e das razões de chances (odds ratios).
- O invólucro de auto-treinamento é agnóstico ao modelo e fácil de adicionar a qualquer pipeline de regressão logística existente.
- A variante EM fornece um quadro probabilístico principiado com garantia formal de convergência.
- A regularização (L1/L2) pode ser combinada de forma direta para controlar o sobreajuste (overfitting) em dados pseudo-rotulados.
Aplicações
- Predição de resultados clínicos onde apenas um subconjunto de pacientes tem diagnósticos confirmados.
- Classificação de texto com grandes corpora e pequenos conjuntos de treinamento rotulados por especialistas.
- Pesquisa de levantamentos onde os respondentes respondem apenas a um subconjunto de perguntas de resultado.
- Análise de sentimento e mineração de opinião com dados de mídia social parcialmente anotados.
- Detecção de fraude onde casos de fraude confirmados são raros, mas os volumes de transação são grandes.
- Estudos de imagem médica onde rótulos de radiologistas estão disponíveis para um subconjunto de exames.
Como funciona
Como funciona
Um modelo padrão de regressão logística é ajustado aos exemplos rotulados disponíveis. Isso fornece estimativas iniciais de coeficientes e estimativas de probabilidade de classe para cada observação. Mesmo com poucos rótulos, este 'warm start' produz uma fronteira de decisão inicial razoável que as iterações subsequentes refinarão.
O modelo treinado pontua cada exemplo não rotulado, produzindo uma probabilidade posterior P(y=k | x) para cada classe. No auto-treinamento, exemplos cuja probabilidade máxima excede um limiar de confiança recebem um pseudo-rótulo rígido. Em abordagens baseadas em EM, atribui-se pertencimentos fracionários suaves em vez de uma classe rígida, mantendo a incerteza explícita durante todo o processo.
Fórmula
\hat{y}_u = \arg\max_k \, p(y=k \mid x_u; \theta)A regressão logística é reajustada no conjunto combinado de exemplos verdadeiramente rotulados e exemplos não rotulados pseudo-rotulados (ou suavemente rotulados). Regularização — L1 ou L2 — é aplicada para evitar que o conjunto de dados expandido impulsione os coeficientes agressivamente demais em direção ao sinal ruidoso do pseudo-rótulo.
Etapas de pontuação de dados não rotulados e retreinamento são repetidas até a convergência — tipicamente quando a mudança na log-verossimilhança ou nos valores dos coeficientes entre as iterações cai abaixo de uma pequena tolerância. A variante EM alterna formalmente entre uma etapa E (cálculo dos rótulos esperados) e uma etapa M (maximização da log-verossimilhança de dados completos).
Uma vez convergido, o modelo final é avaliado em um conjunto de teste rotulado reservado, usando métricas padrão como acurácia, AUC e F1. A validação cruzada deve ser realizada apenas na partição rotulada para evitar vazamento de rótulos do conjunto não rotulado para a estimativa de validação.
Erros comuns
- Incluir exemplos não rotulados no conjunto de validação ou teste, o que infla as estimativas de desempenho ao vazar informações de distribuição.
- Definir um limiar de confiança baixo que inunda o conjunto de treinamento com pseudo-rótulos incertos, acumulando erros iniciais.
- Ignorar o desbalanceamento de classes ao atribuir pseudo-rótulos, fazendo com que a classe majoritária domine as iterações sucessivas.
- Tratar dados pseudo-rotulados como equivalentes a dados verdadeiramente rotulados na quantificação de incerteza ou teste de significância downstream.
- Aplicar regularização no conjunto de treinamento expandido, permitindo que o ruído do pseudo-rótulo impulsione o sobreajuste.
Perguntas frequentes
Como a regressão logística semissupervisionada difere da regressão logística padrão?
A regressão logística padrão usa apenas exemplos rotulados. A variante semissupervisionada atribui iterativamente rótulos provisórios a dados não rotulados e os inclui no retreinamento, de modo que a fronteira de decisão é moldada tanto por rótulos confirmados quanto pela estrutura do conjunto de dados não rotulados maior.
Qual limiar de confiança devo usar para auto-treinamento?
Pontos de partida comuns são 0.85–0.95 para classificação binária. O limiar correto depende do balanceamento de classes e da qualidade dos rótulos. Ajuste-o no conjunto de validação rotulado e monitore a fração de exemplos não rotulados adicionados por iteração para evitar uma enxurrada de pseudo-rótulos incertos.
Ainda posso interpretar os coeficientes como razões de chances (odds ratios)?
Sim, mas com cautela. Os coeficientes estimados retêm a interpretação de log-odds, mas seus intervalos de confiança são subestimados porque os dados pseudo-rotulados são tratados como observações reais. A inferência sobre significância deve basear-se apenas na porção verdadeiramente rotulada.
E se meus dados não rotulados vierem de um período ou fonte diferente?
O desvio de distribuição entre os conjuntos rotulado e não rotulado é um dos principais modos de falha. Se os dados não rotulados vierem de uma população ou período diferente, os pseudo-rótulos podem reforçar erros sistemáticos. Verifique o desvio de covariável antes de prosseguir.
Existe uma implementação pronta?
Sim. O SelfTrainingClassifier do scikit-learn envolve qualquer classificador probabilístico, incluindo LogisticRegression, para auto-treinamento. A variante EM requer implementação manual ou bibliotecas dedicadas de SSL como SKSSL ou LASSL.
Métodos relacionados
Fontes
Nigam, K., McCallum, A., Thrun, S., & Mitchell, T. (2000). Text classification from labeled and unlabeled documents using EM. Machine Learning, 39, 103–134.
Abrir referência DOICopiado.Chapelle, O., Scholkopf, B., & Zien, A. (Eds.) (2006). Semi-supervised Learning. MIT Press.
ISBN: 978-0-262-03358-9Copiado.