Skip to content
Torna ai risultati

Processo Gaussiano Bayesiano

Introdotto da
O'Hagan, A.; Neal, R. M.; Rasmussen, C. E. & Williams, C. K. I.
Anno
1978–2006
Tipo
Probabilistic kernel model
Famiglia
Machine learning

Questo testo è una traduzione automatica e non è ancora stato revisionato. Leggi l’originale in inglese

Dimensione del carattere

A cosa serve?

Un Processo Gaussiano (GP) Bayesiano pone una distribuzione di probabilità direttamente sulle funzioni, utilizzando un kernel per codificare la somiglianza tra gli input.

Dopo aver osservato i dati, la regola di Bayes converte questa "prior" in una "posterior" che produce non solo previsioni puntuali, ma anche stime di incertezza calibrate per ogni nuovo input — rendendolo uno dei modelli probabilistici più rigorosi nell'apprendimento automatico.

L’intuizione alla base del metodo

Immaginate di disegnare infinite curve plausibili attraverso i vostri dati, ciascuna coerente con ciò che sapete. Un GP quantifica quanto sia probabile ogni curva prima e dopo aver visto le osservazioni. Il kernel determina quali curve appaiono lisce o ondulate, vicine o di ampia portata. Una volta che i dati arrivano, il GP restringe la famiglia di curve plausibili attorno alle osservazioni, mantenendo un'incertezza onesta dove i dati sono scarsi. Questo fornisce sia una previsione che una banda di confidenza che riflette genuinamente quante prove supportano la previsione.

Storia

L'uso dei processi Gaussiani in statistica risale a O'Hagan (1978) e al Kriging in geostatistica (Matheron, 1963). La loro adozione nell'apprendimento automatico è stata catalizzata da Neal (1996), che ha mostrato come le reti profonde convergano ai GP nel limite di larghezza infinita, e dal libro di Rasmussen e Williams del 2006, che è diventato il riferimento standard. Oggi i GP sono alla base delle pipeline di ottimizzazione Bayesiana nella messa a punto degli iperparametri e nella progettazione sperimentale in ingegneria e scienza.

Quando usarlo

Utilizzate un GP Bayesiano quando avete bisogno di incertezza calibrata insieme alle previsioni — ad esempio nell'apprendimento attivo, nell'ottimizzazione Bayesiana, nelle applicazioni critiche per la sicurezza o nell'inferenza scientifica dove sapere ciò che il modello non sa è importante quanto la previsione stessa. Eccelle su dataset di piccole e medie dimensioni (fino a qualche migliaio di osservazioni) con input continui o strutturati e funzioni sottostanti lisce. Evitate i GP quando il dataset supera circa 10.000 righe senza metodi GP sparsi o approssimati, quando lo spazio degli input è ad alta dimensionalità (sopra ~20 feature) senza una forte struttura "prior", o quando è sufficiente un predittore puntuale veloce e opaco.

Limiti e considerazioni

  • Il costo computazionale cubico O(n^3) nell'inferenza esatta limita l'uso a dataset di poche migliaia di osservazioni senza approssimazioni sparse.
  • La scelta del kernel è influente e richiede competenza nel dominio; un kernel mal specificato degrada sia le previsioni che le stime di incertezza.
  • L'inferenza in forma chiusa si interrompe per verosimiglianze non Gaussiane (classificazione, conteggi), richiedendo approssimazioni che aggiungono complessità.
  • Scala male a spazi di input ad alta dimensionalità senza riduzione della dimensionalità o kernel strutturati.

Le condizioni della fonte non sostituiscono una revisione scientifica indipendente né la validazione da parte di un motore di analisi.

Punti di forza

  • Produce distribuzioni predittive completamente calibrate, non solo stime puntuali.
  • "Posterior" in forma chiusa per la regressione — esatta, nessun campionamento richiesto per dati moderati.
  • La selezione del kernel codifica una ricca conoscenza del dominio su levigatezza, periodicità e struttura.
  • La log-verosimiglianza marginale fornisce l'apprendimento automatico degli iperparametri e il confronto dei modelli.
  • Supporta naturalmente l'apprendimento attivo e l'ottimizzazione Bayesiana quantificando dove l'incertezza è massima.
  • Efficiente in termini di campioni: funziona bene su piccoli dataset dove il "deep learning" non può generalizzare.

Applicazioni

  • Ottimizzazione Bayesiana per la messa a punto degli iperparametri, la progettazione sperimentale e l'AutoML.
  • Modellazione surrogata in simulazioni ingegneristiche ed esperimenti computerizzati.
  • Interpolazione spaziale e geostatistica (Kriging).
  • Previsione di serie temporali con quantificazione rigorosa dell'incertezza.
  • Apprendimento attivo: selezione dell'osservazione successiva più informativa basata sulla varianza "posterior".
  • Inferenza scientifica dove la propagazione dell'incertezza è richiesta insieme alla previsione.

Come funziona

Come funziona

1

Una "prior" GP è definita da una funzione media m(x) — spesso impostata a zero — e da una funzione di covarianza (kernel) k(x,x') che codifica come gli output a due input co-variano. Insieme specificano una distribuzione su tutte le funzioni, da cui il modello campiona soluzioni candidate prima che vengano visti i dati.

Formula
f(\mathbf{x}) \sim \mathcal{GP}(m(\mathbf{x}),\, k(\mathbf{x},\mathbf{x}'))
2

Il kernel è la scelta modellistica centrale. I kernel comuni includono il squared-exponential (RBF), Matern, periodico e lineare, ciascuno dei quali codifica diverse assunzioni su levigatezza, periodicità o trend. La conoscenza del dominio viene utilizzata per selezionare o comporre kernel che corrispondano al comportamento atteso della funzione target.

3

Date le osservazioni di training (X, y), la regola di Bayes viene applicata in forma chiusa per la regressione al fine di ottenere il GP "posterior". La media "posterior" fornisce la previsione puntuale per ogni nuovo input x*, mentre la varianza "posterior" quantifica l'incertezza residua — che si riduce vicino alle osservazioni e si allarga nelle regioni inesplorate.

Formula
p(f^* | \mathbf{X}, \mathbf{y}, \mathbf{x}^*) = \mathcal{N}(\mu^*, \sigma^{*2})
4

Gli iperparametri del kernel (scale di lunghezza, varianza dell'output, livello di rumore) vengono appresi massimizzando la log-verosimiglianza marginale, che bilancia automaticamente l'adattamento ai dati con la complessità del modello. Questo rasoio di Occam integrato evita una "cross-validation" separata per la selezione degli iperparametri in molti contesti.

Formula
\hat{\boldsymbol{\theta}} = \arg\max \log p(\mathbf{y}|\mathbf{X},\boldsymbol{\theta})
5

La distribuzione predittiva finale in un nuovo punto è Gaussiana per la regressione, restituendo una media e una varianza. Per la classificazione, un ulteriore passaggio di approssimazione (Laplace, "expectation propagation" o inferenza variazionale) converte il GP latente in probabilità di classe.

Errori comuni

  • Utilizzare un kernel RBF predefinito senza considerare se i dati sono effettivamente lisci e stazionari.
  • Ignorare la varianza predittiva "posterior" e riportare solo la media, scartando il principale vantaggio del modello.
  • Applicare l'inferenza GP esatta a grandi dataset (n > 10.000) senza approssimazioni sparse o di "inducing-point", causando fallimenti di memoria e velocità.
  • Confondere l'ottimizzazione degli iperparametri GP (verosimiglianza marginale) con l'inferenza Bayesiana completa sugli iperparametri — quest'ultima richiede MCMC ed è raramente eseguita nella pratica.
  • Trattare gli output GP di classificazione come se la "posterior" latente fosse esatta, senza tenere conto dell'errore di approssimazione nelle verosimiglianze non Gaussiane.

Domande frequenti

Un processo Gaussiano è intrinsecamente Bayesiano?

Sì. Un GP definisce una "prior" sulle funzioni, e il condizionamento sui dati produce una "posterior" tramite la regola di Bayes. La distribuzione predittiva è la marginalizzazione di tutte le funzioni plausibili pesate dalla loro probabilità "posterior", che è la proprietà distintiva dell'inferenza Bayesiana.

Come scelgo il kernel?

Iniziate chiedendovi se la funzione è attesa essere liscia (RBF/squared-exponential), periodica (kernel periodico), o irregolare a tratti (Matern 3/2 o 5/2). I kernel possono essere combinati in modo additivo o moltiplicativo per catturare una struttura composita. Convalidate le scelte utilizzando la log-verosimiglianza marginale.

Posso usare un GP su migliaia di punti dati?

L'inferenza GP esatta ha un costo O(n^3), che è fattibile fino a qualche migliaio di punti sull'hardware moderno. Per dataset più grandi, utilizzate approssimazioni GP sparse (metodi di "inducing-point" come FITC o VFE) o GP variazionali stocastici, che scalano a milioni di osservazioni.

Qual è la differenza tra regressione GP e classificazione GP?

La regressione GP utilizza una verosimiglianza Gaussiana, quindi la "posterior" è anch'essa Gaussiana e può essere calcolata in forma chiusa. La classificazione GP utilizza una verosimiglianza Bernoulli (o softmax), che non è Gaussiana, quindi la "posterior" deve essere approssimata — comunemente con l'approssimazione di Laplace o l'"expectation propagation".

Come si confronta un GP con una rete neurale?

I GP sono più adatti a piccoli dati, forniscono incertezza calibrata "out of the box" e sono interpretabili tramite il kernel. Le reti neurali dominano su dati grandi e ad alta dimensionalità. Le reti neurali a larghezza infinita con certe attivazioni sono matematicamente equivalenti ai GP, rivelando una profonda connessione teorica tra i due.

Metodi correlati

Fonti

  1. Rasmussen, C. E., & Williams, C. K. I. (2006). Gaussian Processes for Machine Learning. MIT Press.

    ISBN: 978-0-262-18253-9
    Copiato.
  2. Bishop, C. M. (2006). Pattern Recognition and Machine Learning (Ch. 6). Springer.

    ISBN: 978-0-387-31073-2
    Copiato.