Skip to content
Torna ai risultati

Modello di diffusione

Introdotto da
Ho, J., Jain, A. & Abbeel, P.
Anno
2020
Tipo
Generative deep learning (denoising diffusion)

Questo testo è una traduzione automatica e non è ancora stato revisionato. Leggi l’originale in inglese

Dimensione del carattere

A cosa serve?

Un modello di diffusione è un metodo di deep learning generativo, introdotto da Ho, Jain e Abbeel nel 2020 (DDPM), che apprende a produrre immagini, audio e strutture molecolari di alta qualità invertendo un processo di rumore graduale passo dopo passo.

Ha ampiamente soppiantato le GAN come attuale stato dell'arte nella modellazione generativa.

L’intuizione alla base del metodo

Immagina di sfocare gradualmente una foto fino a ottenere puro rumore statico aggiungendo un po' di rumore casuale alla volta. Un modello di diffusione apprende il percorso opposto: partendo da rumore casuale, rimuove un po' di rumore a ogni passo finché non emerge un campione pulito e realistico. Poiché deve solo annullare un piccolo passo di rumore alla volta, il compito è molto più stabile da apprendere rispetto alla generazione di un'intera immagine in un colpo solo.

Storia

I Denoising Diffusion Probabilistic Models sono stati introdotti da Ho, Jain e Abbeel nel 2020, basandosi su precedenti idee di diffusione e mostrando una qualità d'immagine competitiva con le GAN. Nel 2022 Rombach e colleghi hanno introdotto i Latent Diffusion Models, eseguendo il processo di diffusione in uno spazio latente compresso; ciò ha reso la sintesi ad alta risoluzione pratica e costituisce la base di sistemi come Stable Diffusion. I modelli di diffusione sono da allora diventati l'approccio generativo dominante, sostituendo in gran parte le GAN.

Quando usarlo

Utilizzare un modello di diffusione quando è necessario generare immagini, audio o strutture molecolari ad alta fedeltà e si dispone di un ampio dataset (circa 1000 campioni o più) o dell'accesso a un modello pre-addestrato. Presuppone dati sostanziali o pre-addestramento e richiede hardware GPU/TPU; l'inferenza può essere lenta poiché il campionamento itera su molti passi di denoising. Con meno di circa 1000 campioni, il modello non può apprendere bene il processo di denoising, ed è più sicuro un generatore più semplice come un autoencoder variazionale.

Limiti e considerazioni

  • Richiede un ampio dataset o un modello pre-addestrato: dati scarsi portano a una bassa qualità di generazione.
  • È richiesto hardware GPU/TPU per l'addestramento e l'uso pratico.
  • L'inferenza è lenta poiché il campionamento itera su molti passi di denoising.
  • Al di sotto di circa 1000 campioni, il processo di denoising non può essere appreso in modo affidabile.

Le condizioni della fonte non sostituiscono una revisione scientifica indipendente né la validazione da parte di un motore di analisi.

Punti di forza

  • Produce campioni di qualità superiore e più diversificati rispetto alle GAN su immagini, audio e molecole.
  • L'addestramento è stabile, evitando il collasso di modo e l'instabilità avversaria che affliggono le GAN.
  • Le varianti di diffusione latente rendono la generazione ad alta risoluzione computazionalmente trattabile.
  • Supporta naturalmente la generazione condizionale, come il prompting text-to-image.

Applicazioni

  • Sintesi di immagini ad alta risoluzione e generazione text-to-image.
  • Generazione di audio e voce.
  • Generazione di strutture molecolari e materiali in chimica e scienze naturali.
  • Data augmentation e generazione condizionale da backbone pre-addestrati.

Come funziona

Come funziona

1

Un processo di andata fisso corrompe ogni esempio di addestramento aggiungendo piccole quantità di rumore Gaussiano su molti passi, finché i dati non vengono trasformati in puro rumore. Questo processo non richiede apprendimento: definisce semplicemente la traiettoria dai dati puliti al rumore che il modello invertirà in seguito.

Formula
q(x_t \mid x_{t-1}) = \mathcal{N}(x_t; \sqrt{1-\beta_t}\,x_{t-1}, \beta_t I)
2

Una rete neurale (tipicamente una U-Net) viene addestrata a predire il rumore aggiunto in un dato passo. Minimizzando l'errore quadratico tra il rumore vero e quello predetto su molti passi temporali ed esempi, la rete apprende come portare un input rumoroso un passo più vicino ai dati puliti.

Formula
\mathcal{L} = \mathbb{E}_{t, x_0, \epsilon}\big[\,\lVert \epsilon - \epsilon_\theta(x_t, t) \rVert^2\,\big]
3

Per generare un nuovo campione, il modello parte da rumore casuale e applica ripetutamente il passo di denoising appreso, sottraendo il rumore predetto e aggiungendo un piccolo termine stocastico finché non appare un output pulito. Varianti di diffusione latente (Stable Diffusion) eseguono questo ciclo in uno spazio latente compresso per rendere la generazione ad alta risoluzione trattabile.

Formula
x_{t-1} = \frac{1}{\sqrt{\alpha_t}}\Big(x_t - \frac{\beta_t}{\sqrt{1-\bar{\alpha}_t}}\,\epsilon_\theta(x_t, t)\Big) + \sigma_t z

Errori comuni

  • Tentare di addestrare da zero su un dataset piccolo invece di affinare un modello pre-addestrato.
  • Sottovalutare il carico computazionale: l'addestramento e persino l'inferenza richiedono risorse GPU/TPU.
  • Aspettarsi un output in tempo reale quando il campionamento multi-step rende l'inferenza intrinsecamente lenta.
  • Utilizzare un modello di diffusione dove un generatore molto più semplice (es. un VAE) sarebbe sufficiente per i dati a disposizione.

Domande frequenti

In che modo un modello di diffusione è diverso da una GAN?

Entrambi sono generativi, ma una GAN addestra un generatore contro un discriminatore, il che può essere instabile e incline al collasso di modo. Un modello di diffusione, invece, apprende a invertire un processo di rumore passo dopo passo, offrendo un addestramento più stabile e campioni tipicamente di qualità superiore e più diversificati.

Quanti dati sono necessari?

L'addestramento da zero generalmente richiede circa 1000 campioni o più; al di sotto di tale soglia il processo di denoising non può essere appreso bene. Con pochi dati, affinare un modello pre-addestrato o utilizzare un generatore più semplice come un autoencoder variazionale.

Perché la generazione è lenta?

Il campionamento parte da rumore e applica il passo di denoising appreso molte volte in sequenza, quindi la produzione di un campione richiede molti passaggi della rete. Le varianti di diffusione latente riducono il costo lavorando in uno spazio latente compresso.

È necessario hardware speciale?

Sì. I modelli di diffusione richiedono hardware GPU o TPU per l'addestramento e per l'inferenza pratica; l'uso della sola CPU è generalmente impraticabile.

Metodi correlati

Fonti

  1. Ho, J., Jain, A. & Abbeel, P. (2020). Denoising Diffusion Probabilistic Models. NeurIPS.

    Apri il riferimento della pubblicazione
    Copiato.
  2. Rombach, R., Blattmann, A., Lorenz, D., Esser, P. & Ommer, B. (2022). High-Resolution Image Synthesis with Latent Diffusion Models. CVPR.

    Apri il riferimento della pubblicazione
    Copiato.