Skip to content
Retour aux résultats

Modèle génératif basé sur le score

Introduite par
Song, Y. & Ermon, S.
Année
2019
Type
Score-based generative model (SDE framework)

Ce texte est une traduction automatique et n’a pas encore été relu. Lire l’original en anglais

Taille de police

À quoi sert-elle ?

Un modèle génératif basé sur le score, introduit par Yang Song et Stefano Ermon en 2019 et généralisé au cadre des équations différentielles stochastiques (EDS) en 2021, apprend le gradient de la densité des données — le score — plutôt que de prédire directement le bruit, et l'utilise pour générer de nouveaux échantillons.

Il s'agit de la généralisation mathématique qui unifie les modèles de diffusion sous une formulation en temps continu.

L’intuition derrière la méthode

Au lieu de mémoriser à quoi ressemblent les données, le modèle apprend dans quelle direction pousser n'importe quel point afin qu'il se déplace vers les régions où les données réelles sont denses. Cette direction est le score : le gradient du log-densité. Une fois que vous pouvez pointer vers une densité plus élevée à partir de n'importe quel point, vous pouvez partir d'un bruit pur et suivre ces directions étape par étape jusqu'à obtenir un échantillon réaliste.

Histoire

La modélisation générative basée sur le score a été introduite par Song et Ermon en 2019 comme modélisation générative par estimation des gradients de la distribution des données. En 2021, Song et ses collègues ont reformulé l'idée dans un cadre d'équations différentielles stochastiques, montrant que la correspondance de score à travers des niveaux de bruit continus généralise les modèles de diffusion et unifie plusieurs formulations génératives antérieures sous une seule vue en temps continu.

Quand l’utiliser

Adapté à la génération de haute fidélité et à l'estimation de densité de données continues lorsqu'un grand ensemble d'entraînement (environ 1000 observations ou plus) ou un modèle pré-entraîné est disponible et que des ressources GPU/TPU peuvent être utilisées. Il ne fait aucune hypothèse de normalité, mais l'échantillonneur doit être adapté à l'EDS choisie. En dessous d'environ 1000 observations, un auto-encodeur variationnel est un choix plus sûr, et en dessous de 500, une méthode plus simple telle que l'ACP est préférable.

Limites et points d’attention

  • Nécessite un grand jeu de données (environ 1000 observations ou plus) ou un modèle pré-entraîné pour estimer de manière fiable le gradient de densité.
  • Nécessite du matériel GPU/TPU pour l'entraînement et l'échantillonnage.
  • L'échantillonneur doit être choisi pour correspondre au type d'EDS, ajoutant une charge de configuration.
  • Sur de petits échantillons, l'estimation du score est médiocre et la génération devient dénuée de sens.

Les conditions de la source ne remplacent ni une revue scientifique indépendante ni la validation par un moteur d’analyse.

Points forts

  • Apprend directement le gradient de la densité des données, offrant une généralisation mathématique principielle des modèles de diffusion.
  • Le cadre des EDS en temps continu unifie plusieurs formulations de diffusion sous un seul objectif.
  • Aucune hypothèse de normalité sur les données.
  • Produit des échantillons de haute fidélité de données continues et prend en charge l'estimation de densité.

Applications

  • Génération de haute fidélité de données continues telles que des images.
  • Estimation de densité et modélisation de distributions de données complexes.
  • Modélisation générative en temps continu qui englobe les formulations de diffusion discrètes.
  • Tâches génératives de prédiction et d'explication où de grandes quantités de données ou des modèles pré-entraînés sont disponibles.

Comment ça marche

Comment ça marche

1

Un réseau neuronal est entraîné pour estimer le score de la distribution des données — le gradient du log-densité par rapport à l'entrée. Plutôt que de prédire le bruit ajouté, il apprend le champ de directions qui pointent vers où les données sont concentrées, ce qui fait de cette approche une généralisation mathématique des modèles de diffusion.

Formule
s_\theta(x) \approx \nabla_x \log p(x)
2

Une équation différentielle stochastique directe corrompt progressivement les données en bruit sur le temps continu, avec un terme de dérive et un terme de diffusion injectant du bruit gaussien. Ceci définit une famille lisse de distributions de plus en plus bruitées dont le réseau apprend les scores à tous les niveaux de bruit.

Formule
dx = f(x,t)\,dt + g(t)\,dw
3

La génération inverse le processus en résolvant l'EDS correspondante en temps inverse, qui utilise le score appris pour diriger les échantillons du bruit vers la distribution des données. Le choix du type d'EDS détermine le échantillonneur approprié, et l'intégration est exécutée sur du matériel GPU ou TPU.

Formule
dx = [f(x,t) - g(t)^2 \nabla_x \log p_t(x)]\,dt + g(t)\,d\bar{w}

Pièges courants

  • L'appliquer en dessous du seuil d'environ 1000 observations, où le score ne peut pas être estimé avec précision.
  • Utiliser un échantillonneur qui ne correspond pas à la formulation d'EDS choisie.
  • Tenter de s'entraîner sans ressources GPU/TPU.
  • Descendre en dessous d'environ 500 observations, où la génération basée sur l'EDS est dénuée de sens et où une méthode plus simple devrait être utilisée.

Questions fréquentes

Quel est le score que le modèle apprend ?

Le score est le gradient de la densité de probabilité logarithmique par rapport à l'entrée. Le connaître à chaque point et niveau de bruit permet au modèle de pousser les échantillons vers les régions où les données réelles sont concentrées.

Quel est le lien avec les modèles de diffusion ?

C'est la généralisation mathématique des modèles de diffusion : en formulant la corruption directe et la génération inverse comme des équations différentielles stochastiques en temps continu, la modélisation basée sur le score unifie les approches de diffusion sous un seul cadre.

Quelle quantité de données est nécessaire ?

Environ 1000 observations ou plus, ou un modèle pré-entraîné. En dessous de 1000, un auto-encodeur variationnel est plus sûr, et en dessous de 500, la génération basée sur l'EDS est dénuée de sens et une méthode plus simple telle que l'ACP est préférable.

Quel matériel est requis ?

Des ressources GPU ou TPU sont nécessaires pour l'entraînement et l'échantillonnage, et l'échantillonneur doit être choisi pour correspondre au type d'EDS utilisé.

Méthodes associées

Sources

  1. Song, Y. & Ermon, S. (2019). Generative Modeling by Estimating Gradients of the Data Distribution. NeurIPS 32, 11895–11907.

    Ouvrir la référence de la publication
    Copié.
  2. Song, Y. et al. (2021). Score-Based Generative Modeling through Stochastic Differential Equations. ICLR.

    Ouvrir la référence de la publication
    Copié.