Aprendizado Semi-supervisionado
- Proposto por
- Vapnik, V. N. and others (community of researchers, 1970s–2000s)
- Ano
- 1970s–2006 (formalized)
- Tipo
- Learning paradigm
- Família
- Machine learning
Este texto é uma tradução automática e ainda não foi revisado. Ler o original em inglês
O que ele faz?
Aprendizado semi-supervisionado (SSL) é um paradigma de aprendizado de máquina que treina modelos usando um pequeno conjunto de exemplos rotulados juntamente com um conjunto muito maior de dados não rotulados.
Ao alavancar a estrutura inerente aos dados não rotulados, o SSL atinge precisão próxima à de modelos totalmente supervisionados, exigindo significativamente menos rótulos manuais caros — tornando-o prático quando a rotulagem é cara, lenta ou restrita em recursos.
A intuição por trás do método
Imagine ensinar um aluno dando-lhe alguns exemplos de livros com respostas e uma grande biblioteca de problemas não resolvidos. O aluno usa os exemplos resolvidos para entender padrões, e então usa os problemas não resolvidos para refinar esse entendimento observando quais exemplos se agrupam ou compartilham estruturas semelhantes. O SSL funciona de forma semelhante: o modelo aprende limites de decisão a partir de dados rotulados, e então usa os dados não rotulados para refinar esses limites, assumindo que pontos próximos provavelmente compartilham a mesma classe, ou que a variedade de dados captura uma estrutura significativa. O resultado é um modelo que supera o treinamento apenas com rótulos.
História
O aprendizado semi-supervisionado como área formal emergiu do trabalho em Support Vector Machines transdutivas (SVMs) por Vapnik nos anos 1990 e propagação de rótulos baseada em grafos por Zhu e Ghahramani (2002). O campo foi consolidado pelo volume da MIT Press editado por Chapelle, Scholkopf e Zien (2006), que permanece a referência canônica. O aprendizado profundo moderno revitalizou o SSL através de métodos de regularização de consistência, como MixMatch (2019) e FixMatch (2020), estendendo o paradigma para tarefas de imagem e texto em larga escala.
Quando usar
Use aprendizado semi-supervisionado quando você tem dados não rotulados abundantes, mas a rotulagem é cara, lenta ou requer conhecimento especializado escasso — comum em imagens médicas, processamento de linguagem natural e domínios científicos. O SSL é apropriado quando os dados não rotulados e rotulados compartilham a mesma distribuição, quando a suposição de cluster ou variedade é plausível, e quando um modelo de linha de base totalmente supervisionado já é viável, mas sua precisão é limitada pela escassez de rótulos. NÃO use SSL quando os dados rotulados e não rotulados vierem de distribuições diferentes (desvio de distribuição); quando os dados não rotulados forem muito escassos; quando a tarefa for simples o suficiente para que um pequeno conjunto rotulado já sature a capacidade do modelo; ou quando o erro de pseudo-rótulo se acumular mais rápido do que o modelo pode corrigir — como acontece com saídas de alta entropia ou desbalanceadas.
Limitações e considerações
- O desempenho pode degradar abaixo da linha de base supervisionada se os dados não rotulados violarem a suposição de cluster ou suavidade ou contiverem desvio de distribuição.
- O erro de pseudo-rótulo se acumula ao longo das iterações: previsões confiantes, mas erradas, corrompem o treinamento subsequente.
- Requer ajuste cuidadoso de limiares de confiança, força de regularização e a proporção de dados rotulados para não rotulados.
- A avaliação é mais difícil: o conjunto não rotulado nunca deve ser usado para seleção de modelo, a menos que seja estritamente separado.
- O custo computacional aumenta com grandes corpora não rotulados, especialmente para métodos baseados em grafos que exigem similaridades par a par.
As condições da fonte não substituem a revisão científica independente nem a validação por um motor de análise.
Pontos fortes
- Melhora substancialmente a precisão do modelo quando os dados rotulados são escassos, mas os dados não rotulados são abundantes.
- Reduz o custo e o tempo de anotação, permitindo a implantação prática em domínios que exigem rotulagem por especialistas.
- Compatível com quase qualquer aprendiz base (redes neurais, random forests, SVMs, GPs) através de pseudo-rotulagem ou extensões baseadas em grafos.
- A propagação de rótulos e métodos baseados em grafos fornecem incerteza interpretável e estrutura de vizinhança.
- Auto-treinamento e regularização de consistência integram-se naturalmente em pipelines de treinamento padrão com infraestrutura adicional mínima.
Aplicações
- Classificação de imagens médicas onde anotações de especialistas são escassas e exames não rotulados são abundantes.
- Tarefas de processamento de linguagem natural, como análise de sentimento e reconhecimento de entidade nomeada, com poucos documentos rotulados.
- Pesquisa em estrutura de proteínas e genômica, onde rótulos experimentais são caros de adquirir.
- Controle de qualidade industrial usando um pequeno número de imagens de defeitos rotuladas e muitas imagens de produção não rotuladas.
- Reconhecimento de fala e classificação de áudio quando apenas uma fração das gravações pode ser transcrita.
- Classificação de conteúdo da web e categorização de documentos com grandes corpora rastreados.
Como funciona
Como funciona
Reúna um conjunto de dados contendo um pequeno subconjunto rotulado (tipicamente alguns por cento do total) e um grande subconjunto não rotulado. Os exemplos rotulados devem ser representativos das classes ou resultados de interesse. A qualidade dos dados no conjunto rotulado tem um efeito desproporcional no modelo final.
Treine um modelo inicial usando apenas os exemplos rotulados. Isso produz um classificador ou regressor de linha de base com precisão limitada devido ao pequeno conjunto rotulado, mas fornece o ponto de partida para alavancar dados não rotulados.
Aplique o modelo inicial aos dados não rotulados para gerar pseudo-rótulos — atribuições de classe previstas ou distribuições de probabilidade suaves. Previsões de alta confiança são aceitas provisoriamente como rótulos de treinamento. Algoritmos comuns de SSL diferem aqui: auto-treinamento aceita previsões de maior confiança, propagação de rótulos espalha rótulos através de um grafo de similaridade, e regularização de consistência impõe previsões estáveis sob perturbações de entrada.
Retreine o modelo incorporando tanto os dados rotulados originais quanto os novos exemplos não rotulados pseudo-rotulados. Este processo pode ser iterativo: o modelo aprimorado gera melhores pseudo-rótulos, que por sua vez melhoram ainda mais o modelo. Regularização ou limiares de confiança protegem contra o acúmulo de erros.
Avalie o modelo final em um conjunto de teste rotulado separado, que nunca foi exposto durante o treinamento ou pseudo-rotulagem, usando métricas padrão (precisão, F1, AUC, MSE). Compare com um modelo de linha de base totalmente supervisionado treinado apenas com rótulos para quantificar o ganho obtido com os dados não rotulados.
Erros comuns
- Usar dados não rotulados cuja distribuição difere do conjunto rotulado — o descompasso de distribuição é a causa mais comum de falha do SSL.
- Negligenciar uma linha de base apenas supervisionada, tornando impossível verificar se os dados não rotulados realmente ajudaram.
- Definir limiares de confiança muito baixos, inundando o conjunto de treinamento com pseudo-rótulos incorretos.
- Avaliar no conjunto não rotulado após a pseudo-rotulagem, o que infla as estimativas de desempenho.
- Tratar o SSL como livre de suposições — o método só ajuda quando as suposições de suavidade, cluster ou variedade são válidas.
Perguntas frequentes
Como o aprendizado semi-supervisionado difere do aprendizado auto-supervisionado?
O aprendizado semi-supervisionado usa um pequeno conjunto de rótulos fornecidos por humanos juntamente com dados não rotulados para melhorar uma tarefa supervisionada. O aprendizado auto-supervisionado cria seus próprios rótulos a partir da estrutura de dados não rotulados por si só (por exemplo, prever palavras mascaradas) — nenhum rótulo humano é usado durante o pré-treinamento, embora as representações aprendidas sejam posteriormente ajustadas em dados rotulados.
Quando o aprendizado semi-supervisionado prejudica em vez de ajudar?
Se os dados não rotulados vierem de uma distribuição diferente da dos dados rotulados, ou se os limites de classe não se alinharem com os clusters naturais nos dados, o SSL pode introduzir ruído que reduz a precisão abaixo da linha de base supervisionada. Sempre compare com um modelo apenas supervisionado.
Qual é o algoritmo SSL mais simples para tentar primeiro?
O auto-treinamento é o mais direto: treine com rótulos, preveja em dados não rotulados, adicione previsões de alta confiança de volta como dados rotulados e retreine. Funciona com qualquer aprendiz base e serve como uma linha de base útil antes de métodos mais complexos de grafos ou regularização de consistência.
Quanta quantidade de dados rotulados é tipicamente necessária?
Não há uma resposta universal, mas o SSL é mais benéfico quando os dados rotulados representam 1–10% do conjunto de dados total. Abaixo de aproximadamente 10–50 exemplos rotulados por classe, mesmo o SSL pode ter dificuldades; nesse ponto, o aprendizado ativo para priorizar quais exemplos rotular pode ser mais eficaz.
O aprendizado semi-supervisionado pode ser usado com qualquer tipo de modelo?
Sim. Pseudo-rotulagem e auto-treinamento funcionam com qualquer aprendiz base. Métodos baseados em grafos, como propagação de rótulos, são agnósticos ao modelo, mas exigem o cálculo de similaridades par a par. Métodos de regularização de consistência são aplicados mais naturalmente a redes neurais, mas podem ser adaptados a outros modelos probabilísticos.
Métodos relacionados
Fontes
Chapelle, O., Scholkopf, B., & Zien, A. (Eds.) (2006). Semi-Supervised Learning. MIT Press.
ISBN: 978-0-262-03358-9Copiado.Zhu, X. (2005). Semi-supervised learning literature survey. Technical Report 1530, University of Wisconsin-Madison.
Abrir referência da publicaçãoCopiado.