Máquina de Vetores de Suporte Semi-supervisionada
- Proposto por
- Joachims, T.
- Ano
- 1999
- Tipo
- Semi-supervised classifier
- Família
- Machine learning
Este texto é uma tradução automática e ainda não foi revisado. Ler o original em inglês
O que ele faz?
A Máquina de Vetores de Suporte Semi-supervisionada (S3VM) estende a SVM clássica incorporando grandes quantidades de dados não rotulados juntamente com um pequeno conjunto de treinamento rotulado.
Ela busca um hiperplano de margem máxima que não apenas separa os exemplos rotulados, mas também atravessa regiões de baixa densidade da distribuição completa dos dados, resultando em melhor generalização quando as amostras rotuladas são escassas.
A intuição por trás do método
Uma SVM padrão aprende um limite de decisão unicamente a partir de pontos rotulados. A S3VM observa que os dados não rotulados ainda carregam informações geométricas sobre onde os clusters de dados são densos e onde eles se rarefazem. Ao exigir que o limite de decisão evite regiões de alta densidade — independentemente de esses pontos terem rótulos ou não — o modelo pode explorar a maioria não rotulada para refinar o limite que, de outra forma, traçaria apenas a partir de um punhado de exemplos rotulados. O resultado é uma margem que respeita a estrutura subjacente dos dados, não apenas os rótulos conhecidos.
História
As bases da S3VM foram lançadas por Vapnik em seu trabalho inicial sobre inferência transdutiva, mas o método se tornou amplamente adotado após Joachims (1999) demonstrar sua eficácia para classificação de texto sob o nome Transductive SVM. O tratamento abrangente em Chapelle, Scholkopf e Zien (2006) consolidou a S3VM ao lado de outras abordagens semi-supervisionadas e permanece a referência padrão. Trabalhos subsequentes introduziram relaxações convexas e solucionadores escaláveis para abordar os desafios computacionais e de ótimos locais do método original.
Quando usar
A S3VM é a escolha certa quando dados rotulados são caros ou escassos (por exemplo, menos de algumas centenas de exemplos), mas dados não rotulados abundantes estão disponíveis — um cenário comum em classificação de texto, bioinformática ou qualquer domínio onde a anotação é custosa. Ela tem melhor desempenho quando a suposição de cluster é válida: as classes formam clusters distintos e o limite de decisão se encontra em uma região de baixa densidade. Evite a S3VM quando dados rotulados já são abundantes (a SVM padrão igualará ou excederá seu desempenho a um custo menor), quando a suposição de cluster é violada (classes se sobrepõem fortemente no espaço de características), ou quando a distribuição não rotulada se desvia da distribuição rotulada, o que pode empurrar o limite na direção errada.
Limitações e considerações
- A otimização não é convexa devido aos pseudo-rótulos, tornando-a sensível à inicialização e propensa a ótimos locais.
- O custo computacional escala mal com o número de exemplos não rotulados — grandes pools não rotulados tornam-se caros.
- Depende da suposição de cluster; se as classes não formam clusters bem separados, os dados não rotulados podem degradar o desempenho.
- Requer ajuste cuidadoso do peso da perda rotulada C e do peso da perda não rotulada C*, adicionando complexidade à seleção do modelo.
As condições da fonte não substituem a revisão científica independente nem a validação por um motor de análise.
Pontos fortes
- Aproveita efetivamente grandes conjuntos de dados não rotulados para melhorar a generalização quando exemplos rotulados são escassos.
- Herda as garantias de margem máxima e a flexibilidade de kernel das SVMs padrão.
- Bem adequada para dados esparsos de alta dimensionalidade, como texto, onde corpora não rotulados são abundantes.
- Existem extensões probabilísticas (Gaussian Process S3VM) e variantes de kernel para limites não lineares.
- Precisão competitiva em regimes de poucos dados rotulados em comparação com alternativas puramente supervisionadas.
Aplicações
- Classificação de texto e documentos com poucos exemplos de treinamento rotulados.
- Tarefas de bioinformática, como predição de função de proteínas, onde a anotação experimental é custosa.
- Categorização de páginas da web, aproveitando grandes corpora rastreados, mas não anotados.
- Análise de imagens médicas, onde a rotulagem por especialistas é demorada e cara.
- Qualquer problema de classificação de alta dimensionalidade com dados não rotulados abundantes e rótulos escassos.
Como funciona
Como funciona
Uma SVM inicial é ajustada nos exemplos rotulados disponíveis, aprendendo um limite de decisão e uma margem preliminares. Isso fornece um modelo de partida e previsões iniciais para o conjunto não rotulado, fundamentando a otimização semi-supervisionada subsequente em uma solução supervisionada.
A SVM preliminar atribui rótulos de classe provisórios (pseudo-rótulos) a todos os exemplos não rotulados com base em qual lado do limite atual eles se encontram. Esses pseudo-rótulos permitem que os pontos não rotulados participem da maximização da margem, mesmo que sua classe verdadeira seja desconhecida.
O objetivo central da S3VM minimiza conjuntamente a perda hinge em exemplos rotulados e a pseudo-perda hinge em exemplos não rotulados, ao mesmo tempo em que maximiza a margem. Um parâmetro de balanceamento C* controla o quão fortemente os pontos não rotulados influenciam o limite, balanceando a exploração da estrutura nos dados não rotulados e o ajuste à verdade fundamental rotulada.
Fórmula
\min_{w,b,y^*} \frac{1}{2}\|w\|^2 + C\sum_{i}\xi_i + C^*\sum_{j}\xi_j^*Como os pseudo-rótulos podem estar incorretos, o algoritmo itera: ele reatribui pseudo-rótulos usando o limite atualizado e resolve novamente a otimização conjunta. A troca de exemplos não rotulados mal atribuídos para a classe oposta e a reotimização movem progressivamente o limite para lacunas de menor densidade nos dados.
Uma vez que a convergência é alcançada, novos exemplos são classificados pelo sinal da função de decisão linear aprendida. O hiperplano resultante é posicionado em uma região de baixa densidade da distribuição completa dos dados, proporcionando melhor generalização em exemplos retidos do que uma SVM puramente supervisionada treinada no mesmo pequeno conjunto rotulado.
Fórmula
f(x) = \text{sign}(w^\top x + b)Erros comuns
- Assumindo que dados não rotulados sempre ajudam — se a suposição de cluster for violada, a S3VM pode ter um desempenho pior do que uma SVM supervisionada.
- Usando um C* muito grande em relação a C, sobre-ponderando pontos não rotulados e permitindo que o limite se afaste do sinal rotulado.
- Negligenciar a validação em um conjunto rotulado retido, tornando impossível detectar quando os dados não rotulados prejudicaram o desempenho.
- Aplicar S3VM quando os dados rotulados e não rotulados vêm de distribuições diferentes (desvio de covariável), o que viola as suposições do método.
Perguntas frequentes
Como a S3VM difere de uma SVM padrão?
Uma SVM padrão usa apenas dados rotulados para posicionar seu limite de decisão. A S3VM incorpora adicionalmente exemplos não rotulados exigindo que o limite atravesse regiões de baixa densidade da distribuição completa dos dados, melhorando a generalização quando os dados rotulados são escassos.
Qual é a suposição de cluster e por que ela é importante?
A suposição de cluster afirma que o limite de decisão se encontra em uma região de baixa densidade de dados, o que significa que as classes formam clusters separáveis. A S3VM explora isso ao afastar o limite de regiões densas. Se as classes se sobrepõem fortemente, essa suposição falha e os dados não rotulados podem induzir o modelo ao erro.
Como escolho o peso não rotulado C*?
C* controla o quão fortemente os exemplos não rotulados influenciam a margem. Uma estratégia comum é começar com C* muito menor que C e aumentá-lo gradualmente, monitorando a precisão de validação em um pequeno conjunto retido rotulado, parando antes que o desempenho se degrade.
A S3VM pode lidar com limites não lineares?
Sim. Assim como as SVMs padrão, a S3VM suporta funções de kernel (RBF, polinomial, etc.) que mapeiam implicitamente os dados para espaços de maior dimensão onde um limite linear se torna não linear no espaço de características original.
Quando devo preferir auto-treinamento ou propagação de rótulos em vez de S3VM?
O auto-treinamento é mais simples de implementar e escala melhor para grandes pools não rotulados; prefira-o quando o poder computacional for limitado. A propagação de rótulos funciona bem em dados com estrutura de grafo. A S3VM é preferível quando você deseja garantias de margem máxima e a suposição de cluster é provavelmente satisfeita.
Métodos relacionados
Fontes
Joachims, T. (1999). Transductive Inference for Text Classification using Support Vector Machines. Proceedings of the 16th International Conference on Machine Learning (ICML), 200–209.
Abrir referência da publicaçãoCopiado.Chapelle, O., Scholkopf, B., & Zien, A. (Eds.). (2006). Semi-Supervised Learning. MIT Press.
ISBN: 978-0-262-03358-9Copiado.