Skip to content
Voltar aos resultados

Processo Gaussiano

Proposto por
Rasmussen, C. E. & Williams, C. K. I.
Ano
2006 (book); roots in Kriging, 1951)
Tipo
Probabilistic non-parametric model
Família
Machine learning

Este texto é uma tradução automática e ainda não foi revisado. Ler o original em inglês

Tamanho da fonte

O que ele faz?

Um Processo Gaussiano (GP) é um modelo de aprendizado de máquina não paramétrico e totalmente probabilístico que estabelece uma distribuição a priori diretamente sobre funções.

Em vez de prever um único valor, ele retorna uma média preditiva e uma estimativa de incerteza calibrada em cada ponto de teste, tornando-o especialmente valioso para regressão em conjuntos de dados pequenos a médios e para tarefas de otimização Bayesiana.

A intuição por trás do método

Em vez de ajustar uma curva fixa aos seus dados, um Processo Gaussiano mantém uma distribuição completa sobre as possíveis curvas que são consistentes com o que você observou. Antes de ver os dados, ele assume que as funções devem ser suaves (conforme definido por um kernel). Depois de ver os dados, ele restringe essa distribuição: pontos de teste próximos recebem previsões precisas e confiantes, enquanto regiões distantes ou com poucos dados produzem amplas bandas de incerteza. Essa quantificação de incerteza inerente é o que diferencia os GPs da maioria dos outros modelos.

História

Processos Gaussianos têm suas raízes no Kriging, desenvolvido por Danie Krige em geoestatística na década de 1950 e formalizado por Georges Matheron. Sua adoção no aprendizado de máquina foi impulsionada em grande parte por Carl Rasmussen e Christopher Williams, cujo livro de 2006 da MIT Press se tornou a referência definitiva, estabelecendo o GP como uma alternativa Bayesiana não paramétrica e fundamentada às redes neurais e SVMs de kernel, particularmente para configurações onde a quantificação da incerteza é essencial.

Quando usar

Processos Gaussianos se destacam em conjuntos de dados pequenos a médios (até alguns milhares de linhas) onde a quantificação da incerteza é importante — por exemplo, experimentos científicos, projeto de engenharia ou modelagem substituta para simulações caras. Eles são o método de escolha para otimização Bayesiana. Prefira GP em vez de modelos mais simples quando você precisa de intervalos de previsão calibrados em vez de apenas estimativas pontuais, e quando a relação entre entradas e saídas é esperada como suave. Evite GP quando n excede aproximadamente 10.000 observações, pois a inferência exata escala como O(n^3), tornando-a computacionalmente proibitiva sem aproximações. GP também tem dificuldades com espaços de entrada de alta dimensionalidade e com funções descontínuas ou altamente não estacionárias, a menos que kernels cuidadosamente adaptados sejam usados.

Limitações e considerações

  • A inferência exata é O(n^3) em tempo e O(n^2) em memória, tornando-a impraticável para n grande sem métodos GP esparsos ou aproximados.
  • O desempenho degrada em espaços de entrada de alta dimensionalidade devido à maldição da dimensionalidade nas distâncias do kernel.
  • A escolha e combinação de kernels requer conhecimento do domínio; um kernel mal escolhido leva a uma calibração de incerteza deficiente.
  • A classificação (classificadores GP) requer uma aproximação adicional de Laplace ou propagação de expectativa, adicionando complexidade.

As condições da fonte não substituem a revisão científica independente nem a validação por um motor de análise.

Pontos fortes

  • Retorna intervalos de incerteza preditiva calibrados juntamente com previsões pontuais.
  • Extremamente eficiente em termos de amostras — tem bom desempenho em pequenos conjuntos de dados onde modelos baseados em árvores superajustam.
  • A escolha do kernel codifica de forma flexível o conhecimento do domínio sobre suavidade, periodicidade ou escala.
  • Os hiperparâmetros são aprendidos a partir dos dados via verossimilhança marginal, fornecendo regularização automática.
  • Estrutura nativa para otimização Bayesiana e projeto experimental de aprendizado ativo.

Aplicações

  • Regressão em conjuntos de dados científicos e de engenharia pequenos a médios que exigem intervalos de confiança calibrados.
  • Otimização Bayesiana de funções black-box caras, como ajuste de hiperparâmetros ou projeto experimental.
  • Modelagem substituta para simulações computacionais custosas em aeroespacial, ciência dos materiais e modelagem climática.
  • Interpolação espaço-temporal e mapeamento geoestatístico (Kriging).
  • Aprendizado ativo: usando a variância a posteriori para selecionar a próxima medição mais informativa.
  • Modelagem de séries temporais com kernels periódicos ou compostos que codificam a estrutura sazonal.

Como funciona

Como funciona

1

Uma função kernel (comumente exponencial-quadrática / RBF) codifica crenças a priori sobre a suavidade da função e a escala de comprimento. Ela mede a similaridade entre quaisquer dois pontos de entrada: entradas semelhantes devem produzir saídas semelhantes. A escolha da forma do kernel governa fortemente os tipos de funções que o GP pode representar.

Fórmula
k(\mathbf{x}, \mathbf{x}') = \sigma^2 \exp\!\left(-\frac{\|\mathbf{x}-\mathbf{x}'\|^2}{2l^2}\right)
2

Antes que quaisquer dados sejam observados, o GP define uma distribuição a priori sobre as funções: cada coleção finita de valores de função é conjuntamente Gaussiana com função média m(x) e covariância dada pelo kernel. Essa priori é a crença inicial sobre como a função desconhecida se comporta.

Fórmula
f(\mathbf{x}) \sim \mathcal{GP}(m(\mathbf{x}),\, k(\mathbf{x}, \mathbf{x}'))
3

Condicionar a priori nos dados de treinamento observados produz a distribuição a posteriori, também Gaussiana. A média a posteriori torna-se a previsão pontual em qualquer nova entrada x*, e a variância a posteriori fornece um intervalo de confiança calibrado, estreitando-se automaticamente onde os dados de treinamento são densos.

Fórmula
f_* \mid \mathbf{X}, \mathbf{y}, \mathbf{x}_* \sim \mathcal{N}(\mu_*, \sigma^2_*)
4

Os hiperparâmetros do kernel (escala de comprimento, variância de saída, nível de ruído) são estimados maximizando a verossimilhança marginal logarítmica dos dados de treinamento. Essa otimização equilibra o ajuste dos dados com a complexidade do modelo, realizando a regularização automática sem um termo de penalidade separado.

Fórmula
\hat{\boldsymbol{\theta}} = \arg\max_{\boldsymbol{\theta}} \log p(\mathbf{y} \mid \mathbf{X}, \boldsymbol{\theta})
5

No momento da previsão, a média a posteriori é retornada como a estimativa pontual e o desvio padrão a posteriori como a banda de incerteza. Ambos podem ser usados diretamente: relate a média para a melhor estimativa e o intervalo para comunicar o quão confiante o modelo está em cada novo local de entrada.

Erros comuns

  • Usar o kernel RBF padrão sem verificar se a função é realmente estacionária e suave — padrões periódicos ou descontínuos exigem kernels diferentes.
  • Esquecer de padronizar entradas e saídas contínuas antes do ajuste, o que leva a matrizes de covariância mal-condicionadas.
  • Tratar a média a posteriori sozinha como o resultado final e ignorar as bandas de incerteza, que são a principal contribuição do modelo.
  • Aplicar GP exato a conjuntos de dados com n acima de ~5.000 sem mudar para uma aproximação esparsa ou de pontos indutores.
  • Confundir ruído aleatório (erro de medição irredutível) com incerteza epistêmica (incerteza do modelo) ao interpretar a saída da variância.

Perguntas frequentes

Com qual kernel devo começar?

O kernel exponencial-quadrático (RBF) é o ponto de partida padrão porque produz funções suaves e infinitamente diferenciáveis e possui hiperparâmetros de escala de comprimento e variância de saída interpretáveis. Mude para um kernel Matern se você espera que a função seja menos suave, ou adicione um componente periódico para dados sazonais.

Meu conjunto de dados tem 50.000 linhas. Ainda posso usar um GP?

A inferência GP exata seria proibitiva nessa escala. Considere métodos GP esparsos (por exemplo, pontos indutores / FITC) ou GP variacional estocástico, ambos reduzindo o custo de treinamento para aproximadamente O(nm^2), onde m é o número de pontos indutores (m << n). Bibliotecas como GPyTorch implementam isso de forma eficiente.

Como um GP é diferente da regressão linear Bayesiana?

A regressão linear Bayesiana estabelece uma priori sobre um conjunto fixo e finito de coeficientes; a flexibilidade do modelo é, portanto, limitada pelas funções de base escolhidas. Um GP estabelece uma priori diretamente sobre funções em um espaço de dimensão infinita, de modo que sua complexidade efetiva se adapta aos dados sem exigir que você pré-especifique expansões de base.

As estimativas de incerteza são realmente calibradas?

Sob o modelo e kernel corretos, as incertezas a posteriori do GP são bem calibradas por construção. Na prática, a má calibração surge da má especificação do kernel ou da ignorância da estrutura do ruído. Sempre realize uma verificação preditiva a posteriori — plote o observado versus o previsto com a cobertura dos intervalos de credibilidade.

Processos Gaussianos podem lidar com entradas categóricas ou de tipo misto?

Os kernels GP padrão operam em entradas contínuas. Entradas categóricas exigem kernels especiais (por exemplo, kernel de distância de Hamming) ou codificação. Para dados predominantemente categóricos ou mistos de alta dimensionalidade, modelos baseados em árvores, como Random Forest ou gradient boosting, geralmente são um ponto de partida melhor.

Métodos relacionados

Fontes

  1. Rasmussen, C. E., & Williams, C. K. I. (2006). Gaussian Processes for Machine Learning. MIT Press.

    ISBN: 978-0-262-18253-9
    Copiado.
  2. Gaussian process. Wikipedia.

    Abrir referência da publicação
    Copiado.