Skip to content
Torna ai risultati

Processo Gaussiano Semi-supervisionato

Introdotto da
Lawrence, N. D. & Jordan, M. I.
Anno
2004
Tipo
Probabilistic model (semi-supervised)
Famiglia
Machine learning

Questo testo è una traduzione automatica e non è ancora stato revisionato. Leggi l’originale in inglese

Dimensione del carattere

A cosa serve?

Il Processo Gaussiano Semi-supervisionato estende il framework probabilistico dei GP per sfruttare dati non etichettati insieme a un piccolo insieme di osservazioni etichettate.

Ponendo un prior GP sulle funzioni e sfruttando la struttura geometrica rivelata dagli input non etichettati, apprende predittori più accurati e meglio calibrati rispetto a un GP puramente supervisionato quando le etichette sono scarse, rendendolo adatto a problemi scientifici e medici in cui l'annotazione è costosa.

L’intuizione alla base del metodo

Un processo Gaussiano standard definisce una distribuzione su funzioni lisce e condiziona sui punti di addestramento etichettati per formare predizioni. Quando le etichette sono rare, questo posterior condizionato è altamente incerto nelle regioni sparse di dati. Il GP semi-supervisionato affronta questo problema utilizzando anche gli input non etichettati per rivelare la struttura della varietà o della densità sottostante dello spazio degli input. Il kernel — che codifica la similarità — può quindi essere modellato da molti punti non etichettati, in modo che il modello impari dove si trovano i dati prima ancora di vedere un'etichetta. Ciò riduce drasticamente l'incertezza del posterior e migliora la generalizzazione da pochi esempi etichettati.

Storia

Il framework GP semi-supervisionato è stato formalmente introdotto da Lawrence e Jordan a NeurIPS 2004, basandosi sul lavoro fondamentale di Rasmussen e Williams sui GP per l'apprendimento automatico (libro del 2006, manoscritti precedenti circolati dal 1996). L'approccio combina idee dalla regolarizzazione di varietà, dai Laplaciani su grafi e dai non parametrici Bayesiani, e ha influenzato lavori successivi su GP sparsi, deep kernel learning e reti neurali su grafi con output probabilistici.

Quando usarlo

Utilizzare il Processo Gaussiano Semi-supervisionato quando i dati etichettati sono scarsi ma i dati non etichettati sono abbondanti, sono necessarie stime di incertezza calibrate insieme alle predizioni, e lo spazio degli input ha una struttura geometrica liscia che i punti non etichettati possono illuminare. Eccelle in contesti biologici, medici e delle scienze fisiche dove l'annotazione è costosa. Evitarlo quando il dataset è grande (migliaia di punti etichettati), poiché l'inferenza GP scala come O(n^3) rispetto al numero di punti etichettati e diventa computazionalmente proibitivo. Evitarlo anche quando la dimensione dell'input è molto alta (sopra ~50 caratteristiche) senza un'attenta ingegneria del kernel, o quando i coefficienti interpretabili piuttosto che le predizioni probabilistiche sono il risultato primario.

Limiti e considerazioni

  • La scalabilità cubica O(n^3) rispetto al numero di punti etichettati lo rende impraticabile oltre poche migliaia di osservazioni senza approssimazioni sparse.
  • È necessaria un'inferenza approssimata (Laplace, EP) per verosimiglianze non Gaussiane come la classificazione, introducendo errore di approssimazione.
  • Le prestazioni dipendono fortemente dalla scelta del kernel e dall'assunzione che i punti non etichettati rappresentino fedelmente la varietà dei dati.
  • L'ottimizzazione computazionalmente intensiva degli iperparametri può essere lenta e convergere a ottimi locali scadenti in alte dimensioni.

Le condizioni della fonte non sostituiscono una revisione scientifica indipendente né la validazione da parte di un motore di analisi.

Punti di forza

  • Produce distribuzioni predittive complete, fornendo incertezza calibrata accanto a ciascuna predizione.
  • I dati non etichettati possono migliorare drasticamente l'accuratezza quando le etichette sono rare, facendo rendere di più i budget di annotazione.
  • La flessibilità del kernel consente di codificare la conoscenza del dominio su levigatezza, periodicità o geometria dell'input.
  • Il framework Bayesiano principiale supporta la selezione degli iperparametri tramite massimizzazione della verosimiglianza marginale.
  • Gestisce naturalmente compiti di predizione multi-output e strutturati attraverso estensioni GP multi-output.

Applicazioni

  • Predizione dell'attività farmacologica da descrittori molecolari con pochi composti etichettati tramite saggio.
  • Classificazione di immagini mediche dove le annotazioni esperte sono limitate ma le scansioni grezze sono abbondanti.
  • Modellazione di sensori ambientali utilizzando letture sparse calibrate e misurazioni non calibrate dense.
  • Classificazione dell'espressione genica con etichette fenotipiche limitate ma grandi dataset trascrittomici.
  • Predizione di proprietà materiali in chimica e fisica dove le misurazioni sperimentali etichettate sono costose.

Come funziona

Come funziona

1

Una funzione kernel k(x_i, x_j) codifica le credenze a priori sulla levigatezza e sulla scala della funzione target. Per impostazioni semi-supervisionate, i kernel basati su grafi o adattati alla varietà sono costruiti da tutti gli input disponibili — sia etichettati che non etichettati — in modo che la metrica di similarità rifletta la vera geometria dei dati piuttosto che la distanza euclidea grezza.

Formula
k(x_i, x_j) = \sigma^2 \exp\!\left(-\frac{\|x_i - x_j\|^2}{2\ell^2}\right)
2

Un prior GP a media zero f ~ GP(0, k) viene posto sulla funzione latente. Poiché il kernel è stato stimato dall'intero pool non etichettato, questo prior codifica già la struttura geometrica della varietà di input prima che vengano incorporate etichette.

Formula
f \sim \mathcal{GP}(0, k)
3

I punti non etichettati sono integrati nel modello o costruendo un regolarizzatore Laplaciano su grafi su tutti gli input, o trattando i valori della funzione latente nelle posizioni non etichettate come variabili ausiliarie che vengono marginalizzate durante l'inferenza. Entrambi gli approcci consentono al grande pool non etichettato di vincolare e stabilizzare il posterior.

4

Il condizionamento sulle osservazioni etichettate aggiorna il prior GP in un posterior sulle funzioni. Nelle impostazioni di classificazione ciò comporta un'inferenza approssimata (approssimazione di Laplace o propagazione dell'aspettativa) poiché la verosimiglianza Gaussiana è sostituita da un modello di osservazione non Gaussiano.

Formula
p(f^* | X, y, X_*) \propto p(y | f) \, p(f | X, X_*)
5

Per qualsiasi nuovo input x*, la distribuzione predittiva posteriore viene calcolata analiticamente (regressione) o tramite approssimazione (classificazione). L'output è una distribuzione predittiva completa — media e varianza — che fornisce non solo una stima puntuale ma anche un'incertezza calibrata, essenziale nei domini scientifici con poche etichette.

Formula
\hat{y}^* = \mathbb{E}[f^* | X, y, x^*]

Errori comuni

  • Ignorare il costo O(n^3) e tentare di adattare un GP denso a migliaia di punti senza approssimazioni sparse con punti induttori.
  • Utilizzare un kernel standard basato sulla distanza euclidea senza adattarlo alla varietà dei dati, sprecando il pool non etichettato.
  • Trattare la media posteriore come una predizione rigida e scartare la stima dell'incertezza, che è il vantaggio principale rispetto ai metodi discriminativi.
  • Non validare su un set etichettato tenuto da parte, poiché i dati non etichettati possono introdurre sottili spostamenti di distribuzione se non corrispondenti al dominio di test.
  • Applicare il metodo quando il rapporto etichettati/non etichettati è già alto, dove la complessità aggiuntiva offre un beneficio trascurabile rispetto a un GP supervisionato.

Domande frequenti

In cosa differisce da un processo Gaussiano supervisionato standard?

Un GP supervisionato condiziona solo sui dati etichettati e ignora gli input non etichettati. La variante semi-supervisionata utilizza gli input non etichettati per modellare il kernel o vincolare il prior della funzione prima di condizionare sulle etichette, sfruttando così la varietà dei dati e ottenendo un errore di generalizzazione inferiore quando le etichette sono scarse.

Qual è il principale collo di bottiglia computazionale?

L'inferenza GP è cubica rispetto al numero di punti di addestramento. I metodi con punti induttori sparsi (ad es. FITC, VFE) riducono questo a O(nm^2) dove m è il numero di punti induttori (tipicamente 50-500), rendendo fattibile il GP semi-supervisionato su larga scala.

Come scelgo il kernel per l'integrazione dei dati non etichettati?

Un approccio comune è un kernel Laplaciano su grafi o di diffusione di calore calcolato su tutti gli input. In alternativa, un kernel RBF standard con una lunghezza di scala ottimizzata sull'intera distribuzione degli input (etichettati + non etichettati) funziona ragionevolmente bene quando i dati sono a bassa dimensionalità e distribuiti in modo liscio.

L'incertezza calibrata viene preservata dopo l'integrazione dei dati non etichettati?

In linea di principio sì — il framework Bayesiano produce posterior calibrati — ma le approssimazioni introdotte per la classificazione (Laplace, EP) e i metodi sparsi (punti induttori) possono ridurre la calibrazione. È buona pratica valutare l'errore di calibrazione atteso (ECE) su un set di validazione etichettato.

Quando dovrei preferire una SVM semi-supervisionata a questo metodo?

Preferire una SVM semi-supervisionata (S3VM/SVM trasduttiva) quando si necessita di un semplice confine decisionale basato sul margine, si hanno caratteristiche sparse ad alta dimensionalità (ad es. testo) e non si necessita di stime di incertezza. Scegliere il GP semi-supervisionato quando gli output probabilistici e la flessibilità del kernel sono importanti.

Metodi correlati

Fonti

  1. Lawrence, N. D., & Jordan, M. I. (2004). Semi-supervised learning via Gaussian processes. In Advances in Neural Information Processing Systems (NIPS), 17, 753–760. MIT Press.

    Apri il riferimento della pubblicazione
    Copiato.
  2. Rasmussen, C. E., & Williams, C. K. I. (2006). Gaussian Processes for Machine Learning. MIT Press.

    ISBN: 978-0-262-18253-9
    Copiato.