Boosting Semi-supervisionado
- Proposto por
- Mallapragada, P. K.; Bennett, K. P.; and others
- Ano
- 1999–2009
- Tipo
- Semi-supervised ensemble method
- Família
- Machine learning
Este texto é uma tradução automática e ainda não foi revisado. Ler o original em inglês
O que ele faz?
Boosting Semi-supervisionado é um paradigma de aprendizado de conjunto (ensemble learning) que estende algoritmos clássicos de boosting — como AdaBoost — para explorar dados rotulados e não rotulados.
Ao propagar informações de rótulos através de uma estrutura de similaridade sobre instâncias não rotuladas, ele treina classificadores mais fortes do que o boosting puramente supervisionado quando os dados rotulados são escassos.
A intuição por trás do método
O boosting clássico foca iterativamente em exemplos rotulados mal classificados. O boosting semi-supervisionado adiciona uma nova dimensão: ele usa a estrutura geométrica dos dados não rotulados para inferir rótulos suaves (soft labels) ou reponderar exemplos. Intuitivamente, se dois pontos não rotulados são muito similares entre si, eles devem receber o mesmo rótulo. Ao incorporar essa pressão de consistência nas atualizações de peso do ensemble, o modelo pode generalizar melhor mesmo quando apenas um punhado de exemplos rotulados está disponível. O resultado é um modelo que extrai sinal da maioria não rotulada, enquanto ainda é guiado pela minoria rotulada.
História
A ideia de combinar boosting com dados não rotulados surgiu no final dos anos 1990, com Bennett e Demiriz (1999) entre os primeiros a explorar estratégias de ensemble semi-supervisionado. O algoritmo SemiBoost, formalizado por Mallapragada et al. em um artigo da IEEE TPAMI de 2009, tornou-se a referência canônica para boosting semi-supervisionado baseado em grafo. Trabalhos subsequentes estenderam o framework para configurações multiclasse e o conectaram à teoria de regularização de manifold, estabelecendo o boosting semi-supervisionado como uma linha de base padrão na literatura de aprendizado semi-supervisionado.
Quando usar
Boosting Semi-supervisionado é apropriado quando dados rotulados são escassos e caros de obter, mas um conjunto maior de dados não rotulados está prontamente disponível — comum em anotação de imagens médicas, categorização de texto e monitoramento baseado em sensores. É mais adequado para tarefas de classificação binária ou multiclasse onde a suposição de cluster ou manifold é plausível (entradas similares compartilham rótulos). Evite-o quando os dados não rotulados não são representativos da distribuição de teste, quando a suposição de cluster é implausível (por exemplo, dados de processos fundamentalmente diferentes), ou quando o conjunto rotulado já é grande o suficiente para saturar um booster supervisionado — nesse caso, o boosting de gradiente puro igualará ou superará seu desempenho com muito menos complexidade.
Limitações e considerações
- O desempenho degrada acentuadamente se os dados não rotulados não compartilharem a mesma distribuição dos dados rotulados (desvio de distribuição - dataset shift).
- O ruído dos pseudo-rótulos pode se acumular ao longo das rodadas de boosting, levando à amplificação de erros quando as predições iniciais são ruins.
- A construção do grafo de similaridade requer a escolha da largura de banda do kernel ou do número de vizinhos, o que é sensível e requer validação.
- O custo computacional é substancialmente maior do que o boosting supervisionado devido à construção do grafo e à recomputação dos pseudo-rótulos a cada rodada.
As condições da fonte não substituem a revisão científica independente nem a validação por um motor de análise.
Pontos fortes
- Aproveita dados não rotulados abundantes para melhorar a precisão além do que o conjunto rotulado sozinho suporta.
- Herda o forte desempenho empírico e a flexibilidade de frameworks de boosting como AdaBoost.
- A estrutura de similaridade baseada em grafo torna a propagação de rótulos interpretável e ajustável.
- Funciona com qualquer classificador base que aceite pesos de instância, mantendo o framework modular.
- Consistentemente supera o boosting puramente supervisionado em regimes de baixa taxa de rótulos, documentado em experimentos de benchmark.
Aplicações
- Classificação de texto e documentos onde corpora rotulados são pequenos, mas corpora não rotulados grandes estão disponíveis.
- Classificação de imagens médicas com imagens limitadas anotadas por especialistas, juntamente com grandes arquivos não rotulados.
- Categorização de conteúdo web explorando a estrutura do grafo de hiperlinks como fonte de similaridade.
- Detecção de falhas industriais com leituras de sensores abundantes, mas poucos eventos de falha rotulados manualmente.
- Tarefas de bioinformática, como predição de função de proteínas, com escassas anotações validadas.
Como funciona
Como funciona
Um classificador base — tipicamente um decision stump (galho de decisão) ou árvore rasa — é treinado na porção rotulada do conjunto de dados. Isso fornece a hipótese inicial e configura o framework de boosting. Todas as instâncias rotuladas recebem pesos uniformes nesta primeira rodada.
Uma similaridade par a par ou um grafo é construído sobre os dados combinados, rotulados e não rotulados, frequentemente usando um kernel de função de base radial (RBF) ou um grafo k-vizinhos mais próximos (k-nearest-neighbor graph). Isso codifica a suposição de que pontos próximos no espaço de características provavelmente compartilham a mesma classe.
Usando o modelo de ensemble atual e o grafo de similaridade, pseudo-rótulos suaves são atribuídos a instâncias não rotuladas. Pontos próximos a exemplos rotulados classificados com confiança herdam seus rótulos; pontos próximos às fronteiras de decisão recebem pseudo-rótulos de baixa confiança e contribuem menos para a atualização.
O classificador fraco atual é ajustado no conjunto de dados aumentado — exemplos rotulados mais instâncias não rotuladas com pseudo-rótulos — usando a distribuição de peso do boosting. O peso do classificador alpha_t é computado a partir do erro ponderado, exatamente como no AdaBoost, mas o erro ponderado agora reflete contribuições de instâncias rotuladas e não rotuladas.
Fórmula
F_t(x) = F_{t-1}(x) + \alpha_t h_t(x)Os pesos das instâncias são atualizados de modo que exemplos mal classificados pelo classificador atual recebam peso maior na próxima rodada. Para instâncias não rotuladas, a atualização de peso é modulada pela confiança do pseudo-rótulo: pseudo-rótulos de alta confiança são ponderados para cima como exemplos rotulados, enquanto os de baixa confiança são ponderados para baixo para limitar a propagação de ruído.
Após T rodadas de boosting, a predição final é o sinal do voto majoritário ponderado de todos os classificadores fracos. O ensemble combina o sinal da supervisão rotulada e a informação estrutural propagada dos dados não rotulados em uma única e robusta fronteira de decisão.
Fórmula
\hat{y} = \text{sign}\left(\sum_{t=1}^{T} \alpha_t h_t(x)\right)Erros comuns
- Assumir que os dados não rotulados são representativos sem verificar a sobreposição distribucional com os exemplos rotulados.
- Usar muitas rodadas de boosting com pseudo-rótulos ruidosos, fazendo com que o modelo se ajuste excessivamente a atribuições suaves incorretas.
- Ignorar o ajuste de hiperparâmetros do grafo (largura de banda do kernel, k em k-NN) — a má qualidade do grafo invalida todo o passo de propagação.
- Relatar apenas acurácia sem métricas estratificadas (F1, AUC) quando o conjunto rotulado é desbalanceado em classes.
- Omitir um conjunto de teste rotulado separado (held-out) e avaliar no mesmo conjunto rotulado usado para semear os pseudo-rótulos.
Perguntas frequentes
Quando o boosting semi-supervisionado supera o AdaBoost puro?
Mais confiavelmente quando o conjunto rotulado é muito pequeno — tipicamente menos de algumas centenas de exemplos por classe — e os dados não rotulados são abundantes e extraídos da mesma distribuição. Com grandes conjuntos rotulados, a diferença diminui e o boosting supervisionado padrão é mais simples e rápido.
Como devo construir o grafo de similaridade?
Um kernel de função de base radial (RBF) com largura de banda ajustada via validação cruzada no conjunto rotulado é a escolha mais comum. Grafos k-vizinhos mais próximos são uma alternativa mais simples. O critério chave é que o grafo deve conectar exemplos da mesma classe e separar clusters de classes diferentes o mais claramente possível.
Qual classificador base funciona melhor?
Decision stumps (árvores de profundidade 1) são a escolha padrão, consistente com o AdaBoost clássico. Árvores rasas (profundidade 2–4) podem melhorar a acurácia quando a fronteira de decisão é complexa, mas aumentam o risco de confiar excessivamente em pseudo-rótulos ruidosos.
Quantas rodadas de boosting são necessárias?
Comece com 100–200 rodadas e monitore o erro de validação rotulado. Diferente do boosting puramente supervisionado, adicionar muitas rodadas pode amplificar o ruído dos pseudo-rótulos, portanto, a parada antecipada (early stopping) em um pequeno conjunto de validação rotulado é fortemente recomendada.
O desbalanceamento de classes é uma preocupação?
Sim. Quando o conjunto rotulado é desbalanceado em classes, as predições iniciais são enviesadas, e os pseudo-rótulos propagarão esse viés para o conjunto não rotulado. Re-ponderar as classes rotuladas antes do treinamento ou sobreamostrar a classe minoritária para mitigar isso.
Métodos relacionados
Fontes
Mallapragada, P. K., Jin, R., Jain, A. K., & Liu, Y. (2009). SemiBoost: Boosting for Semi-supervised Learning. IEEE Transactions on Pattern Analysis and Machine Intelligence, 31(11), 2000–2014.
Abrir referência DOICopiado.Bennett, K. P., & Demiriz, A. (1999). Semi-supervised Support Vector Machines. Advances in Neural Information Processing Systems (NIPS), 11, 368–374.
Abrir referência da publicaçãoCopiado.