Skip to content
Torna ai risultati

Processo Gaussiano

Introdotto da
Rasmussen, C. E. & Williams, C. K. I.
Anno
2006 (book); roots in Kriging, 1951)
Tipo
Probabilistic non-parametric model
Famiglia
Machine learning

Questo testo è una traduzione automatica e non è ancora stato revisionato. Leggi l’originale in inglese

Dimensione del carattere

A cosa serve?

Un Processo Gaussiano (GP) è un modello di machine learning non parametrico, completamente probabilistico, che pone una distribuzione a priori direttamente sulle funzioni.

Piuttosto che predire un singolo valore, restituisce una media predittiva e una stima calibrata dell'incertezza in ogni punto di test, rendendolo particolarmente prezioso per la regressione su dataset di piccole e medie dimensioni e per compiti di ottimizzazione Bayesiana.

L’intuizione alla base del metodo

Invece di adattare una curva fissa ai dati, un Processo Gaussiano mantiene un'intera distribuzione su possibili curve che sono coerenti con ciò che è stato osservato. Prima di osservare i dati, assume che le funzioni debbano essere lisce (come definito da un kernel). Dopo aver osservato i dati, restringe tale distribuzione: punti di test vicini ricevono predizioni precise e sicure, mentre regioni distanti o con scarsità di dati producono ampie bande di incertezza. Questa quantificazione intrinseca dell'incertezza è ciò che distingue i GP dalla maggior parte degli altri modelli.

Storia

I Processi Gaussiani affondano le loro radici nel Kriging, sviluppato da Danie Krige in geostatistica negli anni '50 e formalizzato da Georges Matheron. La loro adozione nel machine learning è stata guidata in gran parte da Carl Rasmussen e Christopher Williams, il cui libro del 2006 edito da MIT Press è diventato il riferimento definitivo, stabilendo il GP come un'alternativa non parametrica Bayesiana basata su principi alle reti neurali e alle SVM con kernel, in particolare per contesti in cui la quantificazione dell'incertezza è essenziale.

Quando usarlo

I Processi Gaussiani eccellono su dataset di piccole e medie dimensioni (fino a qualche migliaio di righe) dove la quantificazione dell'incertezza è importante — ad esempio, esperimenti scientifici, progettazione ingegneristica o modellazione surrogata per simulazioni costose. Sono il metodo di scelta per l'ottimizzazione Bayesiana. Preferire il GP rispetto a modelli più semplici quando si necessitano intervalli di predizione calibrati piuttosto che semplici stime puntuali, e quando ci si aspetta che la relazione tra input e output sia liscia. Evitare il GP quando n supera circa 10.000 osservazioni, poiché l'inferenza esatta scala come O(n^3) rendendola computazionalmente proibitiva senza approssimazioni. Il GP fatica anche con spazi di input ad altissima dimensionalità e con funzioni discontinue o altamente non stazionarie, a meno che non vengano utilizzati kernel attentamente adattati.

Limiti e considerazioni

  • L'inferenza esatta è O(n^3) in tempo e O(n^2) in memoria, rendendola impraticabile per n grandi senza metodi GP sparsi o approssimati.
  • Le prestazioni degradano in spazi di input ad altissima dimensionalità a causa della maledizione della dimensionalità nelle distanze del kernel.
  • La scelta e la combinazione dei kernel richiedono conoscenza del dominio; un kernel scelto male porta a una scarsa calibrazione dell'incertezza.
  • La classificazione (classificatori GP) richiede un'ulteriore approssimazione di Laplace o di propagazione dell'aspettativa, aggiungendo complessità.

Le condizioni della fonte non sostituiscono una revisione scientifica indipendente né la validazione da parte di un motore di analisi.

Punti di forza

  • Restituisce intervalli di incertezza predittiva calibrati insieme alle predizioni puntuali.
  • Estremamente efficiente in termini di campioni — performa bene su piccoli dataset dove i modelli basati su alberi sovradattano.
  • La scelta del kernel codifica in modo flessibile la conoscenza del dominio sulla levigatezza, periodicità o scala.
  • Gli iperparametri vengono appresi dai dati tramite la verosimiglianza marginale, fornendo una regolarizzazione automatica.
  • Framework nativo per l'ottimizzazione Bayesiana e la progettazione sperimentale di apprendimento attivo.

Applicazioni

  • Regressione su dataset scientifici e ingegneristici di piccole e medie dimensioni che richiedono intervalli di confidenza calibrati.
  • Ottimizzazione Bayesiana di funzioni black-box costose come la sintonizzazione degli iperparametri o la progettazione sperimentale.
  • Modellazione surrogata per simulazioni computazionali costose in aerospaziale, scienza dei materiali e modellazione climatica.
  • Interpolazione spazio-temporale e mappatura geostatistica (Kriging).
  • Apprendimento attivo: utilizzo della varianza a posteriori per selezionare la misurazione successiva più informativa.
  • Modellazione di serie temporali con kernel periodici o compositi che codificano la struttura stagionale.

Come funziona

Come funziona

1

Una funzione kernel (comunemente esponenziale quadrata / RBF) codifica le credenze a priori sulla levigatezza della funzione e sulla scala di lunghezza. Misura la somiglianza tra due punti di input qualsiasi: input simili dovrebbero produrre output simili. La scelta della forma del kernel governa fortemente quali tipi di funzioni il GP può rappresentare.

Formula
k(\mathbf{x}, \mathbf{x}') = \sigma^2 \exp\!\left(-\frac{\|\mathbf{x}-\mathbf{x}'\|^2}{2l^2}\right)
2

Prima che vengano osservati dati, il GP definisce una distribuzione a priori sulle funzioni: ogni collezione finita di valori di funzione è congiuntamente Gaussiana con funzione media m(x) e covarianza data dal kernel. Questa a priori è la credenza iniziale su come si comporta la funzione sconosciuta.

Formula
f(\mathbf{x}) \sim \mathcal{GP}(m(\mathbf{x}),\, k(\mathbf{x}, \mathbf{x}'))
3

Condizionare la distribuzione a priori sui dati di addestramento osservati produce la distribuzione a posteriori, anch'essa Gaussiana. La media a posteriori diventa la predizione puntuale in qualsiasi nuovo input x*, e la varianza a posteriori fornisce un intervallo di confidenza calibrato, che si restringe automaticamente dove i dati di addestramento sono densi.

Formula
f_* \mid \mathbf{X}, \mathbf{y}, \mathbf{x}_* \sim \mathcal{N}(\mu_*, \sigma^2_*)
4

Gli iperparametri del kernel (scala di lunghezza, varianza di output, livello di rumore) vengono stimati massimizzando la log-verosimiglianza marginale dei dati di addestramento. Questa ottimizzazione bilancia l'adattamento ai dati rispetto alla complessità del modello, eseguendo una regolarizzazione automatica senza un termine di penalità separato.

Formula
\hat{\boldsymbol{\theta}} = \arg\max_{\boldsymbol{\theta}} \log p(\mathbf{y} \mid \mathbf{X}, \boldsymbol{\theta})
5

Al momento della predizione, la media a posteriori viene restituita come stima puntuale e la deviazione standard a posteriori come banda di incertezza. Entrambe possono essere utilizzate direttamente: riportare la media per la migliore ipotesi e l'intervallo per comunicare quanto è sicuro il modello in ogni nuova posizione di input.

Errori comuni

  • Utilizzare il kernel RBF predefinito senza verificare se la funzione è veramente stazionaria e liscia — pattern periodici o discontinui richiedono kernel diversi.
  • Dimenticare di standardizzare gli input e gli output continui prima dell'adattamento, il che porta a matrici di covarianza mal condizionate.
  • Trattare la media a posteriori da sola come risultato e ignorare le bande di incertezza, che sono il contributo principale del modello.
  • Applicare il GP esatto a dataset con n superiore a ~5.000 senza passare a un'approssimazione sparsa o a punti induttivi.
  • Confondere il rumore aleatorio (errore di misurazione irriducibile) con l'incertezza epistemica (incertezza del modello) durante l'interpretazione dell'output di varianza.

Domande frequenti

Quale kernel dovrei usare per iniziare?

Il kernel esponenziale quadrato (RBF) è il punto di partenza predefinito perché produce funzioni infinitamente differenziabili e lisce e ha iperparametri interpretabili di scala di lunghezza e varianza di output. Passare a un kernel Matern se ci si aspetta che la funzione sia meno liscia, o aggiungere un componente periodico per dati stagionali.

Il mio dataset ha 50.000 righe. Posso ancora usare un GP?

L'inferenza GP esatta sarebbe proibitiva a quella scala. Considerare metodi GP sparsi (ad es., punti induttivi / FITC) o GP variazionali stocastici, entrambi i quali riducono il costo di addestramento a circa O(nm^2) dove m è il numero di punti induttivi (m << n). Librerie come GPyTorch li implementano in modo efficiente.

In che modo un GP è diverso dalla regressione lineare Bayesiana?

La regressione lineare Bayesiana pone una distribuzione a priori su un insieme finito fisso di coefficienti; la flessibilità del modello è quindi limitata dalle funzioni di base scelte. Un GP pone una distribuzione a priori direttamente sulle funzioni in uno spazio di dimensione infinita, quindi la sua complessità effettiva si adatta ai dati senza richiedere la pre-specificazione di espansioni di base.

Le stime di incertezza sono veramente calibrate?

Sotto il modello e il kernel corretti, le incertezze a posteriori del GP sono ben calibrate per costruzione. In pratica, la mal-calibrazione deriva da una specificazione errata del kernel o dall'ignorare la struttura del rumore. Eseguire sempre un controllo predittivo a posteriori — tracciare osservato vs. predetto con copertura degli intervalli credibili.

I Processi Gaussiani possono gestire input categorici o di tipo misto?

I kernel GP standard operano su input continui. Gli input categorici richiedono kernel speciali (ad es., kernel di distanza di Hamming) o codifica. Per dati prevalentemente categorici o misti ad altissima dimensionalità, modelli basati su alberi come Random Forest o gradient boosting sono solitamente un punto di partenza migliore.

Metodi correlati

Fonti

  1. Rasmussen, C. E., & Williams, C. K. I. (2006). Gaussian Processes for Machine Learning. MIT Press.

    ISBN: 978-0-262-18253-9
    Copiato.
  2. Gaussian process. Wikipedia.

    Apri il riferimento della pubblicazione
    Copiato.