Skip to content
Voltar aos resultados

Regressão Logística Semissupervisionada

Proposto por
Nigam, K.; McCallum, A. et al. (EM variant); Yarowsky, D. (self-training)
Ano
1995–2000
Tipo
Semi-supervised classifier
Família
Machine learning

Este texto é uma tradução automática e ainda não foi revisado. Ler o original em inglês

Tamanho da fonte

O que ele faz?

A regressão logística semissupervisionada estende o classificador logístico padrão incorporando dados não rotulados durante o treinamento.

Utilizando invólucros de auto-treinamento (self-training), expectativa-maximização (EM) ou propagação de rótulos (label propagation), ela atribui iterativamente rótulos suaves a exemplos não rotulados e refina os parâmetros do modelo, melhorando a generalização quando os dados rotulados são escassos em relação ao conjunto de dados completo.

A intuição por trás do método

Imagine treinar um classificador de doenças com apenas 50 diagnósticos confirmados, mas 5.000 registros de pacientes cujo resultado é desconhecido. A regressão logística padrão ignora completamente esses registros não rotulados. A regressão logística semissupervisionada usa as próprias previsões probabilísticas do modelo para atribuir rótulos provisórios aos casos não rotulados, retreina no conjunto ampliado de pseudo-rótulos e repete. Cada iteração aproxima a fronteira de decisão em direção a regiões de alta densidade de dados, permitindo efetivamente que os dados não rotulados guiem onde a fronteira pertence, sem exigir anotação especializada e cara.

História

A aprendizagem semissupervisionada para classificadores probabilísticos foi sistematizada no final dos anos 1990. Yarowsky (1995) popularizou o auto-treinamento para tarefas de PLN, e Nigam et al. (2000) formalizaram a abordagem EM para classificação de texto com modelos naive Bayes e semelhantes à regressão logística. O volume de 2006 da MIT Press de Chapelle, Scholkopf e Zien consolidou os fundamentos teóricos. A regressão logística semissupervisionada é agora uma técnica padrão em cenários onde os orçamentos de anotação são limitados, implementada no invólucro SelfTrainingClassifier do scikit-learn e em bibliotecas dedicadas de SSL.

Quando usar

Escolha a regressão logística semissupervisionada quando os exemplos rotulados forem poucos — tipicamente quando a fração rotulada for inferior a 20% dos dados totais disponíveis — mas um grande conjunto de dados não rotulados da mesma distribuição existir e a anotação for cara. É bem adequada para classificação de texto, predição de resultados clínicos e pesquisa de levantamentos onde os resultados são parcialmente observados. Não a utilize quando os dados não rotulados vierem de uma distribuição diferente do conjunto rotulado (desvio de covariável), quando os rótulos estiverem faltando não aleatoriamente e a falta for informativa, ou quando o conjunto rotulado já for grande o suficiente para que uma regressão logística padrão atinja bom desempenho — nesses casos, o ruído do pseudo-rótulo adiciona mais prejuízo do que benefício.

Limitações e considerações

  • Se os dados rotulados iniciais forem muito poucos ou não representativos, os pseudo-rótulos iniciais serão ruidosos e os erros se acumularão ao longo das iterações.
  • Assume que os dados não rotulados são extraídos da mesma distribuição que os dados rotulados — violado em muitos cenários de coleta do mundo real.
  • A convergência para um ótimo local não garante melhoria sobre a linha de base supervisionada.
  • Limiares de confiança no auto-treinamento requerem ajuste e interagem com o desbalanceamento de classes de maneiras não óbvias.
  • A interpretação dos coeficientes torna-se mais difícil porque o conjunto de treinamento efetivo inclui rótulos gerados algoritmicamente.

As condições da fonte não substituem a revisão científica independente nem a validação por um motor de análise.

Pontos fortes

  • Explora grandes conjuntos de dados não rotulados para melhorar um classificador logístico sem custo adicional de rotulagem.
  • Preserva a interpretabilidade dos coeficientes de regressão logística e das razões de chances (odds ratios).
  • O invólucro de auto-treinamento é agnóstico ao modelo e fácil de adicionar a qualquer pipeline de regressão logística existente.
  • A variante EM fornece um quadro probabilístico principiado com garantia formal de convergência.
  • A regularização (L1/L2) pode ser combinada de forma direta para controlar o sobreajuste (overfitting) em dados pseudo-rotulados.

Aplicações

  • Predição de resultados clínicos onde apenas um subconjunto de pacientes tem diagnósticos confirmados.
  • Classificação de texto com grandes corpora e pequenos conjuntos de treinamento rotulados por especialistas.
  • Pesquisa de levantamentos onde os respondentes respondem apenas a um subconjunto de perguntas de resultado.
  • Análise de sentimento e mineração de opinião com dados de mídia social parcialmente anotados.
  • Detecção de fraude onde casos de fraude confirmados são raros, mas os volumes de transação são grandes.
  • Estudos de imagem médica onde rótulos de radiologistas estão disponíveis para um subconjunto de exames.

Como funciona

Como funciona

1

Um modelo padrão de regressão logística é ajustado aos exemplos rotulados disponíveis. Isso fornece estimativas iniciais de coeficientes e estimativas de probabilidade de classe para cada observação. Mesmo com poucos rótulos, este 'warm start' produz uma fronteira de decisão inicial razoável que as iterações subsequentes refinarão.

2

O modelo treinado pontua cada exemplo não rotulado, produzindo uma probabilidade posterior P(y=k | x) para cada classe. No auto-treinamento, exemplos cuja probabilidade máxima excede um limiar de confiança recebem um pseudo-rótulo rígido. Em abordagens baseadas em EM, atribui-se pertencimentos fracionários suaves em vez de uma classe rígida, mantendo a incerteza explícita durante todo o processo.

Fórmula
\hat{y}_u = \arg\max_k \, p(y=k \mid x_u; \theta)
3

A regressão logística é reajustada no conjunto combinado de exemplos verdadeiramente rotulados e exemplos não rotulados pseudo-rotulados (ou suavemente rotulados). Regularização — L1 ou L2 — é aplicada para evitar que o conjunto de dados expandido impulsione os coeficientes agressivamente demais em direção ao sinal ruidoso do pseudo-rótulo.

4

Etapas de pontuação de dados não rotulados e retreinamento são repetidas até a convergência — tipicamente quando a mudança na log-verossimilhança ou nos valores dos coeficientes entre as iterações cai abaixo de uma pequena tolerância. A variante EM alterna formalmente entre uma etapa E (cálculo dos rótulos esperados) e uma etapa M (maximização da log-verossimilhança de dados completos).

5

Uma vez convergido, o modelo final é avaliado em um conjunto de teste rotulado reservado, usando métricas padrão como acurácia, AUC e F1. A validação cruzada deve ser realizada apenas na partição rotulada para evitar vazamento de rótulos do conjunto não rotulado para a estimativa de validação.

Erros comuns

  • Incluir exemplos não rotulados no conjunto de validação ou teste, o que infla as estimativas de desempenho ao vazar informações de distribuição.
  • Definir um limiar de confiança baixo que inunda o conjunto de treinamento com pseudo-rótulos incertos, acumulando erros iniciais.
  • Ignorar o desbalanceamento de classes ao atribuir pseudo-rótulos, fazendo com que a classe majoritária domine as iterações sucessivas.
  • Tratar dados pseudo-rotulados como equivalentes a dados verdadeiramente rotulados na quantificação de incerteza ou teste de significância downstream.
  • Aplicar regularização no conjunto de treinamento expandido, permitindo que o ruído do pseudo-rótulo impulsione o sobreajuste.

Perguntas frequentes

Como a regressão logística semissupervisionada difere da regressão logística padrão?

A regressão logística padrão usa apenas exemplos rotulados. A variante semissupervisionada atribui iterativamente rótulos provisórios a dados não rotulados e os inclui no retreinamento, de modo que a fronteira de decisão é moldada tanto por rótulos confirmados quanto pela estrutura do conjunto de dados não rotulados maior.

Qual limiar de confiança devo usar para auto-treinamento?

Pontos de partida comuns são 0.85–0.95 para classificação binária. O limiar correto depende do balanceamento de classes e da qualidade dos rótulos. Ajuste-o no conjunto de validação rotulado e monitore a fração de exemplos não rotulados adicionados por iteração para evitar uma enxurrada de pseudo-rótulos incertos.

Ainda posso interpretar os coeficientes como razões de chances (odds ratios)?

Sim, mas com cautela. Os coeficientes estimados retêm a interpretação de log-odds, mas seus intervalos de confiança são subestimados porque os dados pseudo-rotulados são tratados como observações reais. A inferência sobre significância deve basear-se apenas na porção verdadeiramente rotulada.

E se meus dados não rotulados vierem de um período ou fonte diferente?

O desvio de distribuição entre os conjuntos rotulado e não rotulado é um dos principais modos de falha. Se os dados não rotulados vierem de uma população ou período diferente, os pseudo-rótulos podem reforçar erros sistemáticos. Verifique o desvio de covariável antes de prosseguir.

Existe uma implementação pronta?

Sim. O SelfTrainingClassifier do scikit-learn envolve qualquer classificador probabilístico, incluindo LogisticRegression, para auto-treinamento. A variante EM requer implementação manual ou bibliotecas dedicadas de SSL como SKSSL ou LASSL.

Métodos relacionados

Fontes

  1. Nigam, K., McCallum, A., Thrun, S., & Mitchell, T. (2000). Text classification from labeled and unlabeled documents using EM. Machine Learning, 39, 103–134.

    Abrir referência DOI
    Copiado.
  2. Chapelle, O., Scholkopf, B., & Zien, A. (Eds.) (2006). Semi-supervised Learning. MIT Press.

    ISBN: 978-0-262-03358-9
    Copiado.