Skip to content
Voltar aos resultados

Boosting Semi-supervisionado

Proposto por
Mallapragada, P. K.; Bennett, K. P.; and others
Ano
1999–2009
Tipo
Semi-supervised ensemble method
Família
Machine learning

Este texto é uma tradução automática e ainda não foi revisado. Ler o original em inglês

Tamanho da fonte

O que ele faz?

Boosting Semi-supervisionado é um paradigma de aprendizado de conjunto (ensemble learning) que estende algoritmos clássicos de boosting — como AdaBoost — para explorar dados rotulados e não rotulados.

Ao propagar informações de rótulos através de uma estrutura de similaridade sobre instâncias não rotuladas, ele treina classificadores mais fortes do que o boosting puramente supervisionado quando os dados rotulados são escassos.

A intuição por trás do método

O boosting clássico foca iterativamente em exemplos rotulados mal classificados. O boosting semi-supervisionado adiciona uma nova dimensão: ele usa a estrutura geométrica dos dados não rotulados para inferir rótulos suaves (soft labels) ou reponderar exemplos. Intuitivamente, se dois pontos não rotulados são muito similares entre si, eles devem receber o mesmo rótulo. Ao incorporar essa pressão de consistência nas atualizações de peso do ensemble, o modelo pode generalizar melhor mesmo quando apenas um punhado de exemplos rotulados está disponível. O resultado é um modelo que extrai sinal da maioria não rotulada, enquanto ainda é guiado pela minoria rotulada.

História

A ideia de combinar boosting com dados não rotulados surgiu no final dos anos 1990, com Bennett e Demiriz (1999) entre os primeiros a explorar estratégias de ensemble semi-supervisionado. O algoritmo SemiBoost, formalizado por Mallapragada et al. em um artigo da IEEE TPAMI de 2009, tornou-se a referência canônica para boosting semi-supervisionado baseado em grafo. Trabalhos subsequentes estenderam o framework para configurações multiclasse e o conectaram à teoria de regularização de manifold, estabelecendo o boosting semi-supervisionado como uma linha de base padrão na literatura de aprendizado semi-supervisionado.

Quando usar

Boosting Semi-supervisionado é apropriado quando dados rotulados são escassos e caros de obter, mas um conjunto maior de dados não rotulados está prontamente disponível — comum em anotação de imagens médicas, categorização de texto e monitoramento baseado em sensores. É mais adequado para tarefas de classificação binária ou multiclasse onde a suposição de cluster ou manifold é plausível (entradas similares compartilham rótulos). Evite-o quando os dados não rotulados não são representativos da distribuição de teste, quando a suposição de cluster é implausível (por exemplo, dados de processos fundamentalmente diferentes), ou quando o conjunto rotulado já é grande o suficiente para saturar um booster supervisionado — nesse caso, o boosting de gradiente puro igualará ou superará seu desempenho com muito menos complexidade.

Limitações e considerações

  • O desempenho degrada acentuadamente se os dados não rotulados não compartilharem a mesma distribuição dos dados rotulados (desvio de distribuição - dataset shift).
  • O ruído dos pseudo-rótulos pode se acumular ao longo das rodadas de boosting, levando à amplificação de erros quando as predições iniciais são ruins.
  • A construção do grafo de similaridade requer a escolha da largura de banda do kernel ou do número de vizinhos, o que é sensível e requer validação.
  • O custo computacional é substancialmente maior do que o boosting supervisionado devido à construção do grafo e à recomputação dos pseudo-rótulos a cada rodada.

As condições da fonte não substituem a revisão científica independente nem a validação por um motor de análise.

Pontos fortes

  • Aproveita dados não rotulados abundantes para melhorar a precisão além do que o conjunto rotulado sozinho suporta.
  • Herda o forte desempenho empírico e a flexibilidade de frameworks de boosting como AdaBoost.
  • A estrutura de similaridade baseada em grafo torna a propagação de rótulos interpretável e ajustável.
  • Funciona com qualquer classificador base que aceite pesos de instância, mantendo o framework modular.
  • Consistentemente supera o boosting puramente supervisionado em regimes de baixa taxa de rótulos, documentado em experimentos de benchmark.

Aplicações

  • Classificação de texto e documentos onde corpora rotulados são pequenos, mas corpora não rotulados grandes estão disponíveis.
  • Classificação de imagens médicas com imagens limitadas anotadas por especialistas, juntamente com grandes arquivos não rotulados.
  • Categorização de conteúdo web explorando a estrutura do grafo de hiperlinks como fonte de similaridade.
  • Detecção de falhas industriais com leituras de sensores abundantes, mas poucos eventos de falha rotulados manualmente.
  • Tarefas de bioinformática, como predição de função de proteínas, com escassas anotações validadas.

Como funciona

Como funciona

1

Um classificador base — tipicamente um decision stump (galho de decisão) ou árvore rasa — é treinado na porção rotulada do conjunto de dados. Isso fornece a hipótese inicial e configura o framework de boosting. Todas as instâncias rotuladas recebem pesos uniformes nesta primeira rodada.

2

Uma similaridade par a par ou um grafo é construído sobre os dados combinados, rotulados e não rotulados, frequentemente usando um kernel de função de base radial (RBF) ou um grafo k-vizinhos mais próximos (k-nearest-neighbor graph). Isso codifica a suposição de que pontos próximos no espaço de características provavelmente compartilham a mesma classe.

3

Usando o modelo de ensemble atual e o grafo de similaridade, pseudo-rótulos suaves são atribuídos a instâncias não rotuladas. Pontos próximos a exemplos rotulados classificados com confiança herdam seus rótulos; pontos próximos às fronteiras de decisão recebem pseudo-rótulos de baixa confiança e contribuem menos para a atualização.

4

O classificador fraco atual é ajustado no conjunto de dados aumentado — exemplos rotulados mais instâncias não rotuladas com pseudo-rótulos — usando a distribuição de peso do boosting. O peso do classificador alpha_t é computado a partir do erro ponderado, exatamente como no AdaBoost, mas o erro ponderado agora reflete contribuições de instâncias rotuladas e não rotuladas.

Fórmula
F_t(x) = F_{t-1}(x) + \alpha_t h_t(x)
5

Os pesos das instâncias são atualizados de modo que exemplos mal classificados pelo classificador atual recebam peso maior na próxima rodada. Para instâncias não rotuladas, a atualização de peso é modulada pela confiança do pseudo-rótulo: pseudo-rótulos de alta confiança são ponderados para cima como exemplos rotulados, enquanto os de baixa confiança são ponderados para baixo para limitar a propagação de ruído.

6

Após T rodadas de boosting, a predição final é o sinal do voto majoritário ponderado de todos os classificadores fracos. O ensemble combina o sinal da supervisão rotulada e a informação estrutural propagada dos dados não rotulados em uma única e robusta fronteira de decisão.

Fórmula
\hat{y} = \text{sign}\left(\sum_{t=1}^{T} \alpha_t h_t(x)\right)

Erros comuns

  • Assumir que os dados não rotulados são representativos sem verificar a sobreposição distribucional com os exemplos rotulados.
  • Usar muitas rodadas de boosting com pseudo-rótulos ruidosos, fazendo com que o modelo se ajuste excessivamente a atribuições suaves incorretas.
  • Ignorar o ajuste de hiperparâmetros do grafo (largura de banda do kernel, k em k-NN) — a má qualidade do grafo invalida todo o passo de propagação.
  • Relatar apenas acurácia sem métricas estratificadas (F1, AUC) quando o conjunto rotulado é desbalanceado em classes.
  • Omitir um conjunto de teste rotulado separado (held-out) e avaliar no mesmo conjunto rotulado usado para semear os pseudo-rótulos.

Perguntas frequentes

Quando o boosting semi-supervisionado supera o AdaBoost puro?

Mais confiavelmente quando o conjunto rotulado é muito pequeno — tipicamente menos de algumas centenas de exemplos por classe — e os dados não rotulados são abundantes e extraídos da mesma distribuição. Com grandes conjuntos rotulados, a diferença diminui e o boosting supervisionado padrão é mais simples e rápido.

Como devo construir o grafo de similaridade?

Um kernel de função de base radial (RBF) com largura de banda ajustada via validação cruzada no conjunto rotulado é a escolha mais comum. Grafos k-vizinhos mais próximos são uma alternativa mais simples. O critério chave é que o grafo deve conectar exemplos da mesma classe e separar clusters de classes diferentes o mais claramente possível.

Qual classificador base funciona melhor?

Decision stumps (árvores de profundidade 1) são a escolha padrão, consistente com o AdaBoost clássico. Árvores rasas (profundidade 2–4) podem melhorar a acurácia quando a fronteira de decisão é complexa, mas aumentam o risco de confiar excessivamente em pseudo-rótulos ruidosos.

Quantas rodadas de boosting são necessárias?

Comece com 100–200 rodadas e monitore o erro de validação rotulado. Diferente do boosting puramente supervisionado, adicionar muitas rodadas pode amplificar o ruído dos pseudo-rótulos, portanto, a parada antecipada (early stopping) em um pequeno conjunto de validação rotulado é fortemente recomendada.

O desbalanceamento de classes é uma preocupação?

Sim. Quando o conjunto rotulado é desbalanceado em classes, as predições iniciais são enviesadas, e os pseudo-rótulos propagarão esse viés para o conjunto não rotulado. Re-ponderar as classes rotuladas antes do treinamento ou sobreamostrar a classe minoritária para mitigar isso.

Métodos relacionados

Fontes

  1. Mallapragada, P. K., Jin, R., Jain, A. K., & Liu, Y. (2009). SemiBoost: Boosting for Semi-supervised Learning. IEEE Transactions on Pattern Analysis and Machine Intelligence, 31(11), 2000–2014.

    Abrir referência DOI
    Copiado.
  2. Bennett, K. P., & Demiriz, A. (1999). Semi-supervised Support Vector Machines. Advances in Neural Information Processing Systems (NIPS), 11, 368–374.

    Abrir referência da publicação
    Copiado.