Skip to content
Torna ai risultati

Modello generativo basato sul gradiente (score-based)

Introdotto da
Song, Y. & Ermon, S.
Anno
2019
Tipo
Score-based generative model (SDE framework)

Questo testo è una traduzione automatica e non è ancora stato revisionato. Leggi l’originale in inglese

Dimensione del carattere

A cosa serve?

Un modello generativo basato sul gradiente, introdotto da Yang Song e Stefano Ermon nel 2019 e generalizzato al framework delle equazioni differenziali stocastiche (SDE) nel 2021, apprende il gradiente della densità dei dati — lo score — piuttosto che predire direttamente il rumore, e lo utilizza per generare nuovi campioni.

È la generalizzazione matematica che unifica i modelli di diffusione sotto una formulazione a tempo continuo.

L’intuizione alla base del metodo

Invece di memorizzare l'aspetto dei dati, il modello apprende in quale direzione spingere un punto qualsiasi affinché si muova verso regioni in cui i dati reali sono densi. Quella direzione è lo score: il gradiente del log-densità. Una volta che si può puntare verso una densità maggiore da qualsiasi punto, si può partire da rumore puro e seguire queste direzioni passo dopo passo fino ad arrivare a un campione realistico.

Storia

La modellazione generativa basata sul gradiente è stata introdotta da Song ed Ermon nel 2019 come modellazione generativa mediante la stima dei gradienti della distribuzione dei dati. Nel 2021 Song e colleghi hanno riformulato l'idea in un framework di equazioni differenziali stocastiche, dimostrando che lo score matching attraverso livelli continui di rumore generalizza i modelli di diffusione e unifica diverse formulazioni generative precedenti sotto un'unica visione a tempo continuo.

Quando usarlo

Adatto per la generazione ad alta fedeltà e la stima della densità di dati continui quando è disponibile un ampio set di addestramento (circa 1000 osservazioni o più) o un modello pre-addestrato e si possono utilizzare risorse GPU/TPU. Non fa assunzioni di normalità, ma il campionatore deve essere abbinato alla SDE scelta. Al di sotto di circa 1000 osservazioni un autoencoder variazionale è una scelta più sicura, e al di sotto di 500 è preferibile un metodo più semplice come PCA.

Limiti e considerazioni

  • Richiede un ampio dataset (circa 1000+ osservazioni) o un modello pre-addestrato per stimare in modo affidabile il gradiente di densità.
  • Necessita di hardware GPU/TPU per addestrare e campionare.
  • Il campionatore deve essere scelto per abbinarsi al tipo di SDE, aggiungendo un onere di configurazione.
  • Su campioni piccoli la stima dello score è scadente e la generazione diventa priva di significato.

Le condizioni della fonte non sostituiscono una revisione scientifica indipendente né la validazione da parte di un motore di analisi.

Punti di forza

  • Apprende direttamente il gradiente della densità dei dati, fornendo una generalizzazione matematica basata su principi dei modelli di diffusione.
  • Il framework SDE a tempo continuo unifica molteplici formulazioni di diffusione sotto un unico obiettivo.
  • Nessuna assunzione di normalità sui dati.
  • Produce campioni ad alta fedeltà di dati continui e supporta la stima della densità.

Applicazioni

  • Generazione ad alta fedeltà di dati continui come immagini.
  • Stima della densità e modellazione di distribuzioni di dati complesse.
  • Modellazione generativa a tempo continuo che ingloba formulazioni discrete di diffusione.
  • Compiti predittivi e generativi esplicativi dove sono disponibili grandi quantità di dati o modelli pre-addestrati.

Come funziona

Come funziona

1

Una rete neurale viene addestrata per stimare lo score della distribuzione dei dati — il gradiente del log-densità rispetto all'input. Invece di predire il rumore aggiunto, apprende il campo di direzioni che puntano verso dove i dati sono concentrati, il che rende l'approccio una generalizzazione matematica dei modelli di diffusione.

Formula
s_\theta(x) \approx \nabla_x \log p(x)
2

Un'equazione differenziale stocastica in avanti corrompe gradualmente i dati in rumore nel tempo continuo, con un termine di drift e un termine di diffusione che iniettano rumore Gaussiano. Questo definisce una famiglia continua di distribuzioni sempre più rumorose i cui score la rete apprende a tutti i livelli di rumore.

Formula
dx = f(x,t)\,dt + g(t)\,dw
3

La generazione inverte il processo risolvendo la corrispondente SDE a tempo inverso, che utilizza lo score appreso per guidare i campioni dal rumore verso la distribuzione dei dati. La scelta del tipo di SDE determina quale campionatore è appropriato, e l'integrazione viene eseguita su hardware GPU o TPU.

Formula
dx = [f(x,t) - g(t)^2 \nabla_x \log p_t(x)]\,dt + g(t)\,d\bar{w}

Errori comuni

  • Applicarlo al di sotto della soglia di ~1000 osservazioni, dove lo score non può essere stimato accuratamente.
  • Utilizzare un campionatore che non corrisponde alla formulazione SDE scelta.
  • Tentare di addestrare senza risorse GPU/TPU.
  • Scendere al di sotto di ~500 osservazioni, dove la generazione basata su SDE è priva di significato e dovrebbe essere utilizzato un metodo più semplice.

Domande frequenti

Qual è lo score che il modello apprende?

Lo score è il gradiente della densità di probabilità logaritmica rispetto all'input. Conoscerlo in ogni punto e livello di rumore consente al modello di spingere i campioni verso dove i dati reali sono concentrati.

Come è correlato ai modelli di diffusione?

È la generalizzazione matematica dei modelli di diffusione: formulando la corruzione in avanti e la generazione inversa come equazioni differenziali stocastiche a tempo continuo, la modellazione basata sul gradiente unifica gli approcci di diffusione sotto un unico framework.

Quanti dati sono necessari?

Circa 1000 osservazioni o più, o un modello pre-addestrato. Al di sotto di 1000 un autoencoder variazionale è più sicuro, e al di sotto di 500 la generazione basata su SDE è priva di significato e è preferibile un metodo più semplice come PCA.

Quale hardware è richiesto?

Sono necessarie risorse GPU o TPU sia per l'addestramento che per il campionamento, e il campionatore deve essere scelto per corrispondere al tipo di SDE utilizzato.

Metodi correlati

Fonti

  1. Song, Y. & Ermon, S. (2019). Generative Modeling by Estimating Gradients of the Data Distribution. NeurIPS 32, 11895–11907.

    Apri il riferimento della pubblicazione
    Copiato.
  2. Song, Y. et al. (2021). Score-Based Generative Modeling through Stochastic Differential Equations. ICLR.

    Apri il riferimento della pubblicazione
    Copiato.