Processo Gaussiano Semi-supervisionato
- Introdotto da
- Lawrence, N. D. & Jordan, M. I.
- Anno
- 2004
- Tipo
- Probabilistic model (semi-supervised)
- Famiglia
- Machine learning
Questo testo è una traduzione automatica e non è ancora stato revisionato. Leggi l’originale in inglese
A cosa serve?
Il Processo Gaussiano Semi-supervisionato estende il framework probabilistico dei GP per sfruttare dati non etichettati insieme a un piccolo insieme di osservazioni etichettate.
Ponendo un prior GP sulle funzioni e sfruttando la struttura geometrica rivelata dagli input non etichettati, apprende predittori più accurati e meglio calibrati rispetto a un GP puramente supervisionato quando le etichette sono scarse, rendendolo adatto a problemi scientifici e medici in cui l'annotazione è costosa.
L’intuizione alla base del metodo
Un processo Gaussiano standard definisce una distribuzione su funzioni lisce e condiziona sui punti di addestramento etichettati per formare predizioni. Quando le etichette sono rare, questo posterior condizionato è altamente incerto nelle regioni sparse di dati. Il GP semi-supervisionato affronta questo problema utilizzando anche gli input non etichettati per rivelare la struttura della varietà o della densità sottostante dello spazio degli input. Il kernel — che codifica la similarità — può quindi essere modellato da molti punti non etichettati, in modo che il modello impari dove si trovano i dati prima ancora di vedere un'etichetta. Ciò riduce drasticamente l'incertezza del posterior e migliora la generalizzazione da pochi esempi etichettati.
Storia
Il framework GP semi-supervisionato è stato formalmente introdotto da Lawrence e Jordan a NeurIPS 2004, basandosi sul lavoro fondamentale di Rasmussen e Williams sui GP per l'apprendimento automatico (libro del 2006, manoscritti precedenti circolati dal 1996). L'approccio combina idee dalla regolarizzazione di varietà, dai Laplaciani su grafi e dai non parametrici Bayesiani, e ha influenzato lavori successivi su GP sparsi, deep kernel learning e reti neurali su grafi con output probabilistici.
Quando usarlo
Utilizzare il Processo Gaussiano Semi-supervisionato quando i dati etichettati sono scarsi ma i dati non etichettati sono abbondanti, sono necessarie stime di incertezza calibrate insieme alle predizioni, e lo spazio degli input ha una struttura geometrica liscia che i punti non etichettati possono illuminare. Eccelle in contesti biologici, medici e delle scienze fisiche dove l'annotazione è costosa. Evitarlo quando il dataset è grande (migliaia di punti etichettati), poiché l'inferenza GP scala come O(n^3) rispetto al numero di punti etichettati e diventa computazionalmente proibitivo. Evitarlo anche quando la dimensione dell'input è molto alta (sopra ~50 caratteristiche) senza un'attenta ingegneria del kernel, o quando i coefficienti interpretabili piuttosto che le predizioni probabilistiche sono il risultato primario.
Limiti e considerazioni
- La scalabilità cubica O(n^3) rispetto al numero di punti etichettati lo rende impraticabile oltre poche migliaia di osservazioni senza approssimazioni sparse.
- È necessaria un'inferenza approssimata (Laplace, EP) per verosimiglianze non Gaussiane come la classificazione, introducendo errore di approssimazione.
- Le prestazioni dipendono fortemente dalla scelta del kernel e dall'assunzione che i punti non etichettati rappresentino fedelmente la varietà dei dati.
- L'ottimizzazione computazionalmente intensiva degli iperparametri può essere lenta e convergere a ottimi locali scadenti in alte dimensioni.
Le condizioni della fonte non sostituiscono una revisione scientifica indipendente né la validazione da parte di un motore di analisi.
Punti di forza
- Produce distribuzioni predittive complete, fornendo incertezza calibrata accanto a ciascuna predizione.
- I dati non etichettati possono migliorare drasticamente l'accuratezza quando le etichette sono rare, facendo rendere di più i budget di annotazione.
- La flessibilità del kernel consente di codificare la conoscenza del dominio su levigatezza, periodicità o geometria dell'input.
- Il framework Bayesiano principiale supporta la selezione degli iperparametri tramite massimizzazione della verosimiglianza marginale.
- Gestisce naturalmente compiti di predizione multi-output e strutturati attraverso estensioni GP multi-output.
Applicazioni
- Predizione dell'attività farmacologica da descrittori molecolari con pochi composti etichettati tramite saggio.
- Classificazione di immagini mediche dove le annotazioni esperte sono limitate ma le scansioni grezze sono abbondanti.
- Modellazione di sensori ambientali utilizzando letture sparse calibrate e misurazioni non calibrate dense.
- Classificazione dell'espressione genica con etichette fenotipiche limitate ma grandi dataset trascrittomici.
- Predizione di proprietà materiali in chimica e fisica dove le misurazioni sperimentali etichettate sono costose.
Come funziona
Come funziona
Una funzione kernel k(x_i, x_j) codifica le credenze a priori sulla levigatezza e sulla scala della funzione target. Per impostazioni semi-supervisionate, i kernel basati su grafi o adattati alla varietà sono costruiti da tutti gli input disponibili — sia etichettati che non etichettati — in modo che la metrica di similarità rifletta la vera geometria dei dati piuttosto che la distanza euclidea grezza.
Formula
k(x_i, x_j) = \sigma^2 \exp\!\left(-\frac{\|x_i - x_j\|^2}{2\ell^2}\right)Un prior GP a media zero f ~ GP(0, k) viene posto sulla funzione latente. Poiché il kernel è stato stimato dall'intero pool non etichettato, questo prior codifica già la struttura geometrica della varietà di input prima che vengano incorporate etichette.
Formula
f \sim \mathcal{GP}(0, k)I punti non etichettati sono integrati nel modello o costruendo un regolarizzatore Laplaciano su grafi su tutti gli input, o trattando i valori della funzione latente nelle posizioni non etichettate come variabili ausiliarie che vengono marginalizzate durante l'inferenza. Entrambi gli approcci consentono al grande pool non etichettato di vincolare e stabilizzare il posterior.
Il condizionamento sulle osservazioni etichettate aggiorna il prior GP in un posterior sulle funzioni. Nelle impostazioni di classificazione ciò comporta un'inferenza approssimata (approssimazione di Laplace o propagazione dell'aspettativa) poiché la verosimiglianza Gaussiana è sostituita da un modello di osservazione non Gaussiano.
Formula
p(f^* | X, y, X_*) \propto p(y | f) \, p(f | X, X_*)
Per qualsiasi nuovo input x*, la distribuzione predittiva posteriore viene calcolata analiticamente (regressione) o tramite approssimazione (classificazione). L'output è una distribuzione predittiva completa — media e varianza — che fornisce non solo una stima puntuale ma anche un'incertezza calibrata, essenziale nei domini scientifici con poche etichette.
Formula
\hat{y}^* = \mathbb{E}[f^* | X, y, x^*]Errori comuni
- Ignorare il costo O(n^3) e tentare di adattare un GP denso a migliaia di punti senza approssimazioni sparse con punti induttori.
- Utilizzare un kernel standard basato sulla distanza euclidea senza adattarlo alla varietà dei dati, sprecando il pool non etichettato.
- Trattare la media posteriore come una predizione rigida e scartare la stima dell'incertezza, che è il vantaggio principale rispetto ai metodi discriminativi.
- Non validare su un set etichettato tenuto da parte, poiché i dati non etichettati possono introdurre sottili spostamenti di distribuzione se non corrispondenti al dominio di test.
- Applicare il metodo quando il rapporto etichettati/non etichettati è già alto, dove la complessità aggiuntiva offre un beneficio trascurabile rispetto a un GP supervisionato.
Domande frequenti
In cosa differisce da un processo Gaussiano supervisionato standard?
Un GP supervisionato condiziona solo sui dati etichettati e ignora gli input non etichettati. La variante semi-supervisionata utilizza gli input non etichettati per modellare il kernel o vincolare il prior della funzione prima di condizionare sulle etichette, sfruttando così la varietà dei dati e ottenendo un errore di generalizzazione inferiore quando le etichette sono scarse.
Qual è il principale collo di bottiglia computazionale?
L'inferenza GP è cubica rispetto al numero di punti di addestramento. I metodi con punti induttori sparsi (ad es. FITC, VFE) riducono questo a O(nm^2) dove m è il numero di punti induttori (tipicamente 50-500), rendendo fattibile il GP semi-supervisionato su larga scala.
Come scelgo il kernel per l'integrazione dei dati non etichettati?
Un approccio comune è un kernel Laplaciano su grafi o di diffusione di calore calcolato su tutti gli input. In alternativa, un kernel RBF standard con una lunghezza di scala ottimizzata sull'intera distribuzione degli input (etichettati + non etichettati) funziona ragionevolmente bene quando i dati sono a bassa dimensionalità e distribuiti in modo liscio.
L'incertezza calibrata viene preservata dopo l'integrazione dei dati non etichettati?
In linea di principio sì — il framework Bayesiano produce posterior calibrati — ma le approssimazioni introdotte per la classificazione (Laplace, EP) e i metodi sparsi (punti induttori) possono ridurre la calibrazione. È buona pratica valutare l'errore di calibrazione atteso (ECE) su un set di validazione etichettato.
Quando dovrei preferire una SVM semi-supervisionata a questo metodo?
Preferire una SVM semi-supervisionata (S3VM/SVM trasduttiva) quando si necessita di un semplice confine decisionale basato sul margine, si hanno caratteristiche sparse ad alta dimensionalità (ad es. testo) e non si necessita di stime di incertezza. Scegliere il GP semi-supervisionato quando gli output probabilistici e la flessibilità del kernel sono importanti.
Metodi correlati
Fonti
Lawrence, N. D., & Jordan, M. I. (2004). Semi-supervised learning via Gaussian processes. In Advances in Neural Information Processing Systems (NIPS), 17, 753–760. MIT Press.
Apri il riferimento della pubblicazioneCopiato.Rasmussen, C. E., & Williams, C. K. I. (2006). Gaussian Processes for Machine Learning. MIT Press.
ISBN: 978-0-262-18253-9Copiato.