Skip to content
Retour aux résultats

Modèle de diffusion

Introduite par
Ho, J., Jain, A. & Abbeel, P.
Année
2020
Type
Generative deep learning (denoising diffusion)

Ce texte est une traduction automatique et n’a pas encore été relu. Lire l’original en anglais

Taille de police

À quoi sert-elle ?

Un modèle de diffusion est une méthode d'apprentissage profond générative, introduite par Ho, Jain et Abbeel en 2020 (DDPM), qui apprend à produire des images, des sons et des structures moléculaires de haute qualité en inversant un processus de bruitage étape par étape.

Il a largement supplanté les GAN en tant qu'état de l'art actuel en modélisation générative.

L’intuition derrière la méthode

Imaginez brouiller progressivement une photo jusqu'à obtenir un bruit pur en ajoutant une petite quantité de bruit aléatoire à la fois. Un modèle de diffusion apprend le parcours inverse : partant d'un bruit aléatoire, il supprime un peu de bruit à chaque étape jusqu'à ce qu'un échantillon propre et réaliste émerge. Parce qu'il ne doit annuler qu'une seule petite étape de bruit à la fois, la tâche est beaucoup plus stable à apprendre que de générer une image entière en une seule fois.

Histoire

Les Denoising Diffusion Probabilistic Models ont été introduits par Ho, Jain et Abbeel en 2020, s'appuyant sur des idées de diffusion antérieures et montrant une qualité d'image compétitive avec les GAN. En 2022, Rombach et ses collègues ont introduit les Latent Diffusion Models, exécutant le processus de diffusion dans un espace latent compressé ; cela a rendu la synthèse à haute résolution pratique et sous-tend des systèmes tels que Stable Diffusion. Les modèles de diffusion sont depuis devenus l'approche générative dominante, remplaçant largement les GAN.

Quand l’utiliser

Utilisez un modèle de diffusion lorsque vous avez besoin de générer des images, des sons ou des structures moléculaires de haute fidélité et que vous disposez d'un grand ensemble de données (environ 1000 échantillons ou plus) ou d'un accès à un modèle pré-entraîné. Il suppose des données substantielles ou un pré-entraînement et nécessite du matériel GPU/TPU ; l'inférence peut être lente car l'échantillonnage itère sur de nombreuses étapes de débruitage. Avec moins d'environ 1000 échantillons, le modèle ne peut pas bien apprendre le processus de débruitage, et un générateur plus simple tel qu'un auto-encodeur variationnel est plus sûr.

Limites et points d’attention

  • Nécessite un grand ensemble de données ou un modèle pré-entraîné — peu de données entraînent une mauvaise qualité de génération.
  • Du matériel GPU/TPU est requis pour l'entraînement et l'utilisation pratique.
  • L'inférence est lente car l'échantillonnage itère sur de nombreuses étapes de débruitage.
  • En dessous d'environ 1000 échantillons, le processus de débruitage ne peut pas être appris de manière fiable.

Les conditions de la source ne remplacent ni une revue scientifique indépendante ni la validation par un moteur d’analyse.

Points forts

  • Produit des échantillons de qualité et de diversité supérieures aux GAN sur les images, les sons et les molécules.
  • L'entraînement est stable, évitant l'effondrement de mode et l'instabilité adversariale qui affectent les GAN.
  • Les variantes de diffusion latente rendent la génération à haute résolution traitable en termes de calcul.
  • Prend en charge naturellement la génération conditionnelle, telle que le prompt texte-vers-image.

Applications

  • Synthèse d'images à haute résolution et génération texte-vers-image.
  • Génération audio et vocale.
  • Génération de structures moléculaires et matérielles en chimie et sciences naturelles.
  • Augmentation de données et génération conditionnelle à partir de backbones pré-entraînés.

Comment ça marche

Comment ça marche

1

Un processus avant fixe corrompt chaque exemple d'entraînement en ajoutant de petites quantités de bruit gaussien sur de nombreuses étapes, jusqu'à ce que les données soient transformées en bruit pur. Ce processus ne nécessite aucun apprentissage — il définit simplement la trajectoire des données propres vers le bruit que le modèle inversera ensuite.

Formule
q(x_t \mid x_{t-1}) = \mathcal{N}(x_t; \sqrt{1-\beta_t}\,x_{t-1}, \beta_t I)
2

Un réseau neuronal (typiquement un U-Net) est entraîné à prédire le bruit qui a été ajouté à une étape donnée. En minimisant l'erreur quadratique entre le bruit réel et le bruit prédit sur de nombreux pas de temps et exemples, le réseau apprend comment rapprocher une entrée bruitée d'une donnée propre.

Formule
\mathcal{L} = \mathbb{E}_{t, x_0, \epsilon}\big[\,\lVert \epsilon - \epsilon_\theta(x_t, t) \rVert^2\,\big]
3

Pour générer un nouvel échantillon, le modèle part d'un bruit aléatoire et applique de manière répétée l'étape de débruitage apprise, en soustrayant le bruit prédit et en ajoutant un petit terme stochastique jusqu'à ce qu'une sortie propre apparaisse. Les variantes de diffusion latente (Stable Diffusion) exécutent cette boucle dans un espace latent compressé pour rendre la génération à haute résolution traitable.

Formule
x_{t-1} = \frac{1}{\sqrt{\alpha_t}}\Big(x_t - \frac{\beta_t}{\sqrt{1-\bar{\alpha}_t}}\,\epsilon_\theta(x_t, t)\Big) + \sigma_t z

Pièges courants

  • Tenter d'entraîner à partir de zéro sur un petit ensemble de données au lieu de fine-tuner un modèle pré-entraîné.
  • Sous-estimer le calcul : l'entraînement et même l'inférence exigent des ressources GPU/TPU.
  • S'attendre à une sortie en temps réel alors que l'échantillonnage multi-étapes rend l'inférence intrinsèquement lente.
  • Utiliser un modèle de diffusion là où un générateur beaucoup plus simple (par exemple, un VAE) suffirait pour les données disponibles.

Questions fréquentes

Quelle est la différence entre un modèle de diffusion et un GAN ?

Les deux sont génératifs, mais un GAN entraîne un générateur contre un discriminateur, ce qui peut être instable et sujet à l'effondrement de mode. Un modèle de diffusion apprend plutôt à inverser un processus de bruitage étape par étape, offrant un entraînement plus stable et généralement des échantillons de meilleure qualité et plus diversifiés.

Quelle quantité de données me faut-il ?

L'entraînement à partir de zéro nécessite généralement environ 1000 échantillons ou plus ; en dessous, le processus de débruitage ne peut pas être bien appris. Avec peu de données, fine-tunez un modèle pré-entraîné ou utilisez un générateur plus simple tel qu'un auto-encodeur variationnel.

Pourquoi la génération est-elle lente ?

L'échantillonnage part du bruit et applique l'étape de débruitage apprise de nombreuses fois en séquence, donc la production d'un échantillon nécessite de nombreux passages dans le réseau. Les variantes de diffusion latente réduisent le coût en travaillant dans un espace latent compressé.

Ai-je besoin de matériel spécial ?

Oui. Les modèles de diffusion nécessitent du matériel GPU ou TPU pour l'entraînement et pour une inférence pratique ; l'utilisation uniquement CPU est généralement impraticable.

Méthodes associées

Sources

  1. Ho, J., Jain, A. & Abbeel, P. (2020). Denoising Diffusion Probabilistic Models. NeurIPS.

    Ouvrir la référence de la publication
    Copié.
  2. Rombach, R., Blattmann, A., Lorenz, D., Esser, P. & Ommer, B. (2022). High-Resolution Image Synthesis with Latent Diffusion Models. CVPR.

    Ouvrir la référence de la publication
    Copié.