Modello generativo basato sul gradiente (score-based)
- Introdotto da
- Song, Y. & Ermon, S.
- Anno
- 2019
- Tipo
- Score-based generative model (SDE framework)
Questo testo è una traduzione automatica e non è ancora stato revisionato. Leggi l’originale in inglese
A cosa serve?
Un modello generativo basato sul gradiente, introdotto da Yang Song e Stefano Ermon nel 2019 e generalizzato al framework delle equazioni differenziali stocastiche (SDE) nel 2021, apprende il gradiente della densità dei dati — lo score — piuttosto che predire direttamente il rumore, e lo utilizza per generare nuovi campioni.
È la generalizzazione matematica che unifica i modelli di diffusione sotto una formulazione a tempo continuo.
L’intuizione alla base del metodo
Invece di memorizzare l'aspetto dei dati, il modello apprende in quale direzione spingere un punto qualsiasi affinché si muova verso regioni in cui i dati reali sono densi. Quella direzione è lo score: il gradiente del log-densità. Una volta che si può puntare verso una densità maggiore da qualsiasi punto, si può partire da rumore puro e seguire queste direzioni passo dopo passo fino ad arrivare a un campione realistico.
Storia
La modellazione generativa basata sul gradiente è stata introdotta da Song ed Ermon nel 2019 come modellazione generativa mediante la stima dei gradienti della distribuzione dei dati. Nel 2021 Song e colleghi hanno riformulato l'idea in un framework di equazioni differenziali stocastiche, dimostrando che lo score matching attraverso livelli continui di rumore generalizza i modelli di diffusione e unifica diverse formulazioni generative precedenti sotto un'unica visione a tempo continuo.
Quando usarlo
Adatto per la generazione ad alta fedeltà e la stima della densità di dati continui quando è disponibile un ampio set di addestramento (circa 1000 osservazioni o più) o un modello pre-addestrato e si possono utilizzare risorse GPU/TPU. Non fa assunzioni di normalità, ma il campionatore deve essere abbinato alla SDE scelta. Al di sotto di circa 1000 osservazioni un autoencoder variazionale è una scelta più sicura, e al di sotto di 500 è preferibile un metodo più semplice come PCA.
Limiti e considerazioni
- Richiede un ampio dataset (circa 1000+ osservazioni) o un modello pre-addestrato per stimare in modo affidabile il gradiente di densità.
- Necessita di hardware GPU/TPU per addestrare e campionare.
- Il campionatore deve essere scelto per abbinarsi al tipo di SDE, aggiungendo un onere di configurazione.
- Su campioni piccoli la stima dello score è scadente e la generazione diventa priva di significato.
Le condizioni della fonte non sostituiscono una revisione scientifica indipendente né la validazione da parte di un motore di analisi.
Punti di forza
- Apprende direttamente il gradiente della densità dei dati, fornendo una generalizzazione matematica basata su principi dei modelli di diffusione.
- Il framework SDE a tempo continuo unifica molteplici formulazioni di diffusione sotto un unico obiettivo.
- Nessuna assunzione di normalità sui dati.
- Produce campioni ad alta fedeltà di dati continui e supporta la stima della densità.
Applicazioni
- Generazione ad alta fedeltà di dati continui come immagini.
- Stima della densità e modellazione di distribuzioni di dati complesse.
- Modellazione generativa a tempo continuo che ingloba formulazioni discrete di diffusione.
- Compiti predittivi e generativi esplicativi dove sono disponibili grandi quantità di dati o modelli pre-addestrati.
Come funziona
Come funziona
Una rete neurale viene addestrata per stimare lo score della distribuzione dei dati — il gradiente del log-densità rispetto all'input. Invece di predire il rumore aggiunto, apprende il campo di direzioni che puntano verso dove i dati sono concentrati, il che rende l'approccio una generalizzazione matematica dei modelli di diffusione.
Formula
s_\theta(x) \approx \nabla_x \log p(x)
Un'equazione differenziale stocastica in avanti corrompe gradualmente i dati in rumore nel tempo continuo, con un termine di drift e un termine di diffusione che iniettano rumore Gaussiano. Questo definisce una famiglia continua di distribuzioni sempre più rumorose i cui score la rete apprende a tutti i livelli di rumore.
Formula
dx = f(x,t)\,dt + g(t)\,dw
La generazione inverte il processo risolvendo la corrispondente SDE a tempo inverso, che utilizza lo score appreso per guidare i campioni dal rumore verso la distribuzione dei dati. La scelta del tipo di SDE determina quale campionatore è appropriato, e l'integrazione viene eseguita su hardware GPU o TPU.
Formula
dx = [f(x,t) - g(t)^2 \nabla_x \log p_t(x)]\,dt + g(t)\,d\bar{w}Errori comuni
- Applicarlo al di sotto della soglia di ~1000 osservazioni, dove lo score non può essere stimato accuratamente.
- Utilizzare un campionatore che non corrisponde alla formulazione SDE scelta.
- Tentare di addestrare senza risorse GPU/TPU.
- Scendere al di sotto di ~500 osservazioni, dove la generazione basata su SDE è priva di significato e dovrebbe essere utilizzato un metodo più semplice.
Domande frequenti
Qual è lo score che il modello apprende?
Lo score è il gradiente della densità di probabilità logaritmica rispetto all'input. Conoscerlo in ogni punto e livello di rumore consente al modello di spingere i campioni verso dove i dati reali sono concentrati.
Come è correlato ai modelli di diffusione?
È la generalizzazione matematica dei modelli di diffusione: formulando la corruzione in avanti e la generazione inversa come equazioni differenziali stocastiche a tempo continuo, la modellazione basata sul gradiente unifica gli approcci di diffusione sotto un unico framework.
Quanti dati sono necessari?
Circa 1000 osservazioni o più, o un modello pre-addestrato. Al di sotto di 1000 un autoencoder variazionale è più sicuro, e al di sotto di 500 la generazione basata su SDE è priva di significato e è preferibile un metodo più semplice come PCA.
Quale hardware è richiesto?
Sono necessarie risorse GPU o TPU sia per l'addestramento che per il campionamento, e il campionatore deve essere scelto per corrispondere al tipo di SDE utilizzato.
Metodi correlati
Fonti
Song, Y. & Ermon, S. (2019). Generative Modeling by Estimating Gradients of the Data Distribution. NeurIPS 32, 11895–11907.
Apri il riferimento della pubblicazioneCopiato.Song, Y. et al. (2021). Score-Based Generative Modeling through Stochastic Differential Equations. ICLR.
Apri il riferimento della pubblicazioneCopiato.