Processo Gaussiano Semi-supervisionado
- Proposto por
- Lawrence, N. D. & Jordan, M. I.
- Ano
- 2004
- Tipo
- Probabilistic model (semi-supervised)
- Família
- Machine learning
Este texto é uma tradução automática e ainda não foi revisado. Ler o original em inglês
O que ele faz?
O Processo Gaussiano Semi-supervisionado (SSGP) estende o framework probabilístico do GP para explorar dados não rotulados juntamente com um pequeno conjunto de observações rotuladas.
Ao colocar uma prior GP sobre funções e alavancar a estrutura geométrica revelada por entradas não rotuladas, ele aprende preditores mais precisos e melhor calibrados do que um GP puramente supervisionado quando os rótulos são escassos, tornando-o bem adequado para problemas científicos e médicos onde a anotação é cara.
A intuição por trás do método
Um Processo Gaussiano padrão define uma distribuição sobre funções suaves e condiciona os pontos de treinamento rotulados para formar previsões. Quando os rótulos são raros, essa posterior condicionada é altamente incerta em regiões esparsas de dados. O SSGP aborda isso usando também as entradas não rotuladas para revelar a estrutura subjacente da variedade ou densidade do espaço de entrada. O kernel — que codifica a similaridade — pode então ser moldado por muitos pontos não rotulados, de modo que o modelo aprenda onde os dados residem antes mesmo de ver um rótulo. Isso reduz drasticamente a incerteza posterior e melhora a generalização a partir de poucos exemplos rotulados.
História
O framework de GP semi-supervisionado foi formalmente introduzido por Lawrence e Jordan na NeurIPS 2004, baseando-se no GP fundamental de Rasmussen e Williams para aprendizado de máquina (livro de 2006, manuscritos anteriores circularam a partir de 1996). A abordagem combina ideias de regularização de variedade, Laplacianos de grafos e não paramétricos Bayesianos, e influenciou trabalhos posteriores em GPs esparsos, aprendizado de kernel profundo e redes neurais de grafos com saídas probabilísticas.
Quando usar
Use o Processo Gaussiano Semi-supervisionado quando os dados rotulados forem escassos, mas os dados não rotulados forem abundantes, você precisar de estimativas de incerteza calibradas juntamente com as previsões, e o espaço de entrada tiver uma estrutura geométrica suave que os pontos não rotulados possam iluminar. Ele se destaca em ambientes biológicos, médicos e de ciências físicas onde a anotação é cara. Evite-o quando o conjunto de dados for grande (milhares de pontos rotulados), pois a inferência GP escala como O(n^3) em relação ao número de pontos rotulados e se torna computacionalmente proibitiva. Evite-o também quando a dimensão de entrada for muito alta (acima de ~50 características) sem engenharia cuidadosa do kernel, ou quando coeficientes interpretáveis em vez de previsões probabilísticas forem o principal resultado.
Limitações e considerações
- Escalamento cúbico O(n^3) em relação ao número de pontos rotulados o torna impraticável além de algumas milhares de observações sem aproximações esparsas.
- Inferência aproximada (Laplace, EP) é necessária para verossimilhanças não Gaussianas, como classificação, introduzindo erro de aproximação.
- O desempenho depende fortemente da escolha do kernel e da suposição de que os pontos não rotulados representam fielmente a variedade de dados.
- A otimização computacionalmente intensiva de hiperparâmetros pode ser lenta e convergir para ótimos locais ruins em altas dimensões.
As condições da fonte não substituem a revisão científica independente nem a validação por um motor de análise.
Pontos fortes
- Produz distribuições preditivas completas, fornecendo incerteza calibrada ao lado de cada previsão.
- Dados não rotulados podem melhorar dramaticamente a precisão quando os rótulos são raros, fazendo com que os orçamentos de anotação rendam mais.
- A flexibilidade do kernel permite codificar conhecimento de domínio sobre suavidade, periodicidade ou geometria de entrada.
- Framework Bayesiano principiado suporta seleção de hiperparâmetros via maximização da verossimilhança marginal.
- Naturalmente lida com tarefas de predição multi-saída e estruturada através de extensões de GP multi-saída.
Aplicações
- Predição de atividade de drogas a partir de descritores moleculares com poucos compostos rotulados por ensaio.
- Classificação de imagens médicas onde anotações de especialistas são limitadas, mas varreduras brutas são abundantes.
- Modelagem de sensores ambientais usando leituras calibradas esparsas e medições não calibradas densas.
- Classificação de expressão gênica com rótulos fenotípicos limitados, mas grandes conjuntos de dados transcriptômicos.
- Predição de propriedades de materiais em química e física, onde medições experimentais rotuladas são caras.
Como funciona
Como funciona
Uma função kernel k(x_i, x_j) codifica crenças a priori sobre a suavidade e a escala da função alvo. Para configurações semi-supervisionadas, kernels baseados em grafos ou adaptados à variedade são construídos a partir de todas as entradas disponíveis — rotuladas e não rotuladas — de modo que a métrica de similaridade reflita a verdadeira geometria dos dados, em vez da distância Euclidiana bruta.
Fórmula
k(x_i, x_j) = \sigma^2 \exp\!\left(-\frac{\|x_i - x_j\|^2}{2\ell^2}\right)Uma prior GP de média zero f ~ GP(0, k) é colocada sobre a função latente. Como o kernel foi estimado a partir do conjunto completo de dados não rotulados, essa prior já codifica a estrutura geométrica da variedade de entrada antes que quaisquer rótulos sejam incorporados.
Fórmula
f \sim \mathcal{GP}(0, k)Pontos não rotulados são integrados ao modelo seja construindo um regularizador Laplaciano de grafo sobre todas as entradas, ou tratando os valores da função latente em locais não rotulados como variáveis auxiliares que são marginalizadas durante a inferência. Ambas as abordagens permitem que o grande conjunto de dados não rotulados restrinja e estabilize a posterior.
Condicionar as observações rotuladas atualiza a prior GP para uma posterior sobre funções. Em cenários de classificação, isso envolve inferência aproximada (aproximação de Laplace ou propagação de expectativa) porque a verossimilhança Gaussiana é substituída por um modelo de observação não Gaussiano.
Fórmula
p(f^* | X, y, X_*) \propto p(y | f) \, p(f | X, X_*)
Para qualquer entrada nova x*, a distribuição preditiva posterior é calculada analiticamente (regressão) ou via aproximação (classificação). A saída é uma distribuição preditiva completa — média e variância — fornecendo não apenas uma estimativa pontual, mas também incerteza calibrada, que é essencial em domínios científicos com poucos rótulos.
Fórmula
\hat{y}^* = \mathbb{E}[f^* | X, y, x^*]Erros comuns
- Ignorar o custo O(n^3) e tentar ajustar um GP denso em milhares de pontos sem aproximações de pontos indutores esparsos.
- Usar um kernel de distância Euclidiana padrão sem adaptá-lo à variedade de dados, o que desperdiça o conjunto de dados não rotulados.
- Tratar a média posterior como uma previsão rígida e descartar a estimativa de incerteza, que é a principal vantagem sobre métodos discriminativos.
- Falhar em validar em um conjunto rotulado retido, pois os dados não rotulados podem introduzir um deslocamento sutil na distribuição se não forem correspondidos ao domínio de teste.
- Aplicar o método quando a proporção rotulado/não rotulado já é alta, onde a complexidade adicional gera benefício negligenciável sobre um GP supervisionado.
Perguntas frequentes
Como isso difere de um Processo Gaussiano supervisionado padrão?
Um GP supervisionado condiciona apenas em dados rotulados e ignora entradas não rotuladas. A variante semi-supervisionada usa entradas não rotuladas para moldar o kernel ou restringir a prior da função antes de condicionar nos rótulos, explorando assim a variedade de dados e alcançando menor erro de generalização quando os rótulos são escassos.
Qual é o principal gargalo computacional?
A inferência GP é cúbica em relação ao número de pontos de treinamento. Métodos de pontos indutores esparsos (por exemplo, FITC, VFE) reduzem isso para O(nm^2), onde m é o número de pontos indutores (tipicamente 50–500), tornando o GP semi-supervisionado em larga escala viável.
Como escolho o kernel para integração de dados não rotulados?
Uma abordagem comum é um kernel Laplaciano de grafo ou de difusão de calor calculado sobre todas as entradas. Alternativamente, um kernel RBF padrão com escala de comprimento ajustada na distribuição de entrada completa (rotulada + não rotulada) funciona razoavelmente bem quando os dados são de baixa dimensão e distribuídos suavemente.
A incerteza calibrada é preservada após a integração de dados não rotulados?
Em princípio sim — o framework Bayesiano produz posteriors calibradas — mas aproximações introduzidas para classificação (Laplace, EP) e métodos esparsos (pontos indutores) podem reduzir a calibração. É uma boa prática avaliar o erro de calibração esperado (ECE) em um conjunto de validação rotulado.
Quando devo preferir uma SVM semi-supervisionada a este método?
Prefira uma SVM semi-supervisionada (S3VM/SVM transdutiva) quando você precisar de uma fronteira de decisão simples baseada em margem, tiver características esparsas de alta dimensão (por exemplo, texto) e não precisar de estimativas de incerteza. Escolha o GP semi-supervisionado quando saídas probabilísticas e flexibilidade de kernel forem importantes.
Métodos relacionados
Fontes
Lawrence, N. D., & Jordan, M. I. (2004). Semi-supervised learning via Gaussian processes. In Advances in Neural Information Processing Systems (NIPS), 17, 753–760. MIT Press.
Abrir referência da publicaçãoCopiado.Rasmussen, C. E., & Williams, C. K. I. (2006). Gaussian Processes for Machine Learning. MIT Press.
ISBN: 978-0-262-18253-9Copiado.