Skip to content
Voltar aos resultados

Processo Gaussiano Bayesiano

Proposto por
O'Hagan, A.; Neal, R. M.; Rasmussen, C. E. & Williams, C. K. I.
Ano
1978–2006
Tipo
Probabilistic kernel model
Família
Machine learning

Este texto é uma tradução automática e ainda não foi revisado. Ler o original em inglês

Tamanho da fonte

O que ele faz?

Um Processo Gaussiano (GP) Bayesiano coloca uma distribuição de probabilidade diretamente sobre funções, usando um kernel para codificar a similaridade entre as entradas.

Após a observação de dados, a regra de Bayes converte este prior num posterior que produz não apenas previsões pontuais, mas também estimativas de incerteza calibradas em cada nova entrada — tornando-o um dos modelos probabilísticos mais principados em aprendizado de máquina.

A intuição por trás do método

Imagine desenhar infinitas curvas plausíveis através dos seus dados, cada uma consistente com o que você sabe. Um GP quantifica a probabilidade de cada curva antes e depois de ver as observações. O kernel determina quais curvas parecem suaves ou irregulares, próximas ou distantes. Assim que os dados chegam, o GP estreita a família de curvas plausíveis em torno das observações, mantendo uma incerteza honesta onde os dados são escassos. Isso fornece tanto uma previsão quanto uma banda de confiança que reflete genuinamente a evidência que suporta a previsão.

História

O uso de processos Gaussianos em estatística remonta a O'Hagan (1978) e Kriging em geoestatística (Matheron, 1963). Sua adoção em aprendizado de máquina foi catalisada por Neal (1996), que mostrou que redes profundas convergem para GPs no limite de largura infinita, e pelo livro de Rasmussen e Williams de 2006, que se tornou a referência padrão. Hoje, os GPs sustentam pipelines de otimização Bayesiana em ajuste de hiperparâmetros e projeto experimental em engenharia e ciência.

Quando usar

Use um GP Bayesiano quando precisar de incerteza calibrada ao lado das previsões — por exemplo, em aprendizado ativo, otimização Bayesiana, aplicações críticas de segurança ou inferência científica onde saber o que o modelo não sabe é tão importante quanto a própria previsão. Ele se destaca em conjuntos de dados pequenos a médios (até alguns milhares de observações) com entradas contínuas ou estruturadas e funções subjacentes suaves. Evite GPs quando o conjunto de dados exceder aproximadamente 10.000 linhas sem métodos de GP esparsos ou aproximados, quando o espaço de entrada for de alta dimensionalidade (acima de ~20 características) sem estrutura de prior forte, ou quando um preditor pontual rápido e opaco for tudo o que é necessário.

Limitações e considerações

  • Custo computacional cúbico O(n^3) na inferência exata limita o uso a conjuntos de dados de alguns milhares de observações sem aproximações esparsas.
  • A escolha do kernel é influente e requer expertise de domínio; um kernel mal especificado degrada tanto as previsões quanto as estimativas de incerteza.
  • A inferência em forma fechada falha para verossimilhanças não Gaussianas (classificação, contagens), exigindo aproximações que adicionam complexidade.
  • Escala mal para espaços de entrada de alta dimensionalidade sem redução de dimensionalidade ou kernels estruturados.

As condições da fonte não substituem a revisão científica independente nem a validação por um motor de análise.

Pontos fortes

  • Produz distribuições preditivas totalmente calibradas, não apenas estimativas pontuais.
  • Posterior em forma fechada para regressão — exato, sem necessidade de amostragem para dados moderados.
  • A seleção do kernel codifica rico conhecimento de domínio sobre suavidade, periodicidade e estrutura.
  • A log-verossimilhança marginal fornece aprendizado automático de hiperparâmetros e comparação de modelos.
  • Suporta naturalmente aprendizado ativo e otimização Bayesiana ao quantificar onde a incerteza é maior.
  • Eficiente em termos de amostra: tem bom desempenho em pequenos conjuntos de dados onde o aprendizado profundo não consegue generalizar.

Aplicações

  • Otimização Bayesiana para ajuste de hiperparâmetros, projeto experimental e AutoML.
  • Modelagem substituta em simulações de engenharia e experimentos computacionais.
  • Interpolação espacial e geoestatística (Kriging).
  • Previsão de séries temporais com quantificação de incerteza principiada.
  • Aprendizado ativo: seleção da próxima observação mais informativa com base na variância posterior.
  • Inferência científica onde a propagação de incerteza é necessária ao lado da previsão.

Como funciona

Como funciona

1

Um prior de GP é definido por uma função de média m(x) — frequentemente definida como zero — e uma função de covariância (kernel) k(x,x') que codifica como as saídas em duas entradas co-variam. Juntas, elas especificam uma distribuição sobre todas as funções, das quais o modelo amostra soluções candidatas antes de quaisquer dados serem vistos.

Fórmula
f(\mathbf{x}) \sim \mathcal{GP}(m(\mathbf{x}),\, k(\mathbf{x},\mathbf{x}'))
2

O kernel é a escolha central de modelagem. Kernels comuns incluem o exponencial quadrado (RBF), Matern, periódico e linear, cada um codificando diferentes suposições sobre suavidade, periodicidade ou tendência. O conhecimento do domínio é usado para selecionar ou compor kernels que correspondam ao comportamento esperado da função alvo.

3

Dadas as observações de treinamento (X, y), a regra de Bayes é aplicada em forma fechada para regressão para obter o GP posterior. A média posterior fornece a previsão pontual em qualquer nova entrada x*, enquanto a variância posterior quantifica a incerteza restante — diminuindo perto das observações e aumentando em regiões inexploradas.

Fórmula
p(f^* | \mathbf{X}, \mathbf{y}, \mathbf{x}^*) = \mathcal{N}(\mu^*, \sigma^{*2})
4

Os hiperparâmetros do kernel (escalas de comprimento, variância de saída, nível de ruído) são aprendidos maximizando a log-verossimilhança marginal, que equilibra automaticamente o ajuste aos dados com a complexidade do modelo. Este 'Navalha de Occam' embutido evita validação cruzada separada para seleção de hiperparâmetros em muitos cenários.

Fórmula
\hat{\boldsymbol{\theta}} = \arg\max \log p(\mathbf{y}|\mathbf{X},\boldsymbol{\theta})
5

A distribuição preditiva final em um novo ponto é Gaussiana para regressão, retornando uma média e uma variância. Para classificação, um passo adicional de aproximação (Laplace, propagação de expectativa ou inferência variacional) converte o GP latente em probabilidades de classe.

Erros comuns

  • Usar um kernel RBF padrão sem considerar se os dados são realmente suaves e estacionários.
  • Ignorar a variância preditiva posterior e relatar apenas a média, descartando a principal vantagem do modelo.
  • Aplicar inferência de GP exata a grandes conjuntos de dados (n > 10.000) sem aproximações esparsas ou de pontos de indução, causando falhas de memória e velocidade.
  • Confundir otimização de hiperparâmetros de GP (verossimilhança marginal) com inferência Bayesiana completa sobre hiperparâmetros — esta última requer MCMC e raramente é feita na prática.
  • Tratar as saídas de GP de classificação como se o posterior latente fosse exato, sem levar em conta o erro de aproximação em verossimilhanças não Gaussianas.

Perguntas frequentes

Um processo Gaussiano é inerentemente Bayesiano?

Sim. Um GP define um prior sobre funções, e o condicionamento em dados produz um posterior via regra de Bayes. A distribuição preditiva é a marginalização de todas as funções plausíveis ponderadas por sua probabilidade posterior, que é a propriedade definidora da inferência Bayesiana.

Como escolho o kernel?

Comece perguntando se espera-se que a função seja suave (RBF/exponencial quadrado), periódica (kernel periódico) ou irregular por partes (Matern 3/2 ou 5/2). Kernels podem ser combinados aditivamente ou multiplicativamente para capturar estrutura composta. Valide as escolhas usando a log-verossimilhança marginal.

Posso usar um GP em milhares de pontos de dados?

A inferência exata de GP tem custo O(n^3), o que é viável até alguns milhares de pontos em hardware moderno. Para conjuntos de dados maiores, use aproximações de GP esparsas (métodos de pontos de indução como FITC ou VFE) ou GPs variacionais estocásticos, que escalam para milhões de observações.

Qual é a diferença entre regressão GP e classificação GP?

A regressão GP usa uma verossimilhança Gaussiana, então o posterior também é Gaussiano e pode ser computado em forma fechada. A classificação GP usa uma verossimilhança de Bernoulli (ou softmax), que não é Gaussiana, então o posterior deve ser aproximado — comumente com aproximação de Laplace ou propagação de expectativa.

Como um GP se compara a uma rede neural?

GPs são mais adequados para dados pequenos, fornecem incerteza calibrada 'out of the box' e são interpretáveis através do kernel. Redes neurais dominam em dados grandes e de alta dimensionalidade. Redes neurais de largura infinita com certas ativações são matematicamente equivalentes a GPs, revelando uma profunda conexão teórica entre os dois.

Métodos relacionados

Fontes

  1. Rasmussen, C. E., & Williams, C. K. I. (2006). Gaussian Processes for Machine Learning. MIT Press.

    ISBN: 978-0-262-18253-9
    Copiado.
  2. Bishop, C. M. (2006). Pattern Recognition and Machine Learning (Ch. 6). Springer.

    ISBN: 978-0-387-31073-2
    Copiado.