Zum Inhalt springen
Zurück zu den Suchergebnissen

Diffusion Model

Eingeführt von
Ho, J., Jain, A. & Abbeel, P.
Jahr
2020
Typ
Generative deep learning (denoising diffusion)

Dieser Text ist eine maschinelle Übersetzung und wurde noch nicht geprüft. Original auf Englisch lesen

Schriftgröße

Was leistet sie?

Ein Diffusionsmodell ist eine generative Deep-Learning-Methode, die 2020 von Ho, Jain und Abbeel (DDPM) eingeführt wurde und lernt, hochwertige Bilder, Audio und Molekülstrukturen zu erzeugen, indem ein schrittweiser Verrauschungsprozess umgekehrt wird.

Sie hat GANs weitgehend als aktuellen Stand der Technik im generativen Modellieren verdrängt.

Die Intuition hinter der Methode

Stellen Sie sich vor, Sie verwischen ein Foto schrittweise zu reinem Rauschen, indem Sie nach und nach kleine Mengen zufälligen Rauschens hinzufügen. Ein Diffusionsmodell lernt die umgekehrte Reise: Ausgehend von zufälligem Rauschen entfernt es in jedem Schritt etwas Rauschen, bis eine saubere, realistische Stichprobe entsteht. Da es nur einen kleinen Rauschschritt nach dem anderen rückgängig machen muss, ist die Aufgabe stabiler zu lernen, als ein ganzes Bild in einem Durchgang zu erzeugen.

Geschichte

Denoising Diffusion Probabilistic Models wurden 2020 von Ho, Jain und Abbeel eingeführt und bauten auf früheren Diffusionsideen auf, wobei sie eine Bildqualität zeigten, die mit GANs konkurrenzfähig war. 2022 führten Rombach und Kollegen Latent Diffusion Models ein, die den Diffusionsprozess in einem komprimierten latenten Raum durchführen; dies machte die Synthese hochauflösender Bilder praktisch und bildet die Grundlage für Systeme wie Stable Diffusion. Diffusionsmodelle sind seitdem zum dominanten generativen Ansatz geworden und haben GANs weitgehend ersetzt.

Wann wird sie eingesetzt?

Verwenden Sie ein Diffusionsmodell, wenn Sie hochauflösende Bilder, Audio oder Molekülstrukturen erzeugen müssen und über einen großen Datensatz (ca. 1000 Stichproben oder mehr) oder Zugriff auf ein vortrainiertes Modell verfügen. Es setzt erhebliche Datenmengen oder Vortraining voraus und erfordert GPU/TPU-Hardware; die Inferenz kann langsam sein, da das Sampling viele Entrauschungsschritte durchläuft. Bei weniger als etwa 1000 Stichproben kann das Modell den Entrauschungsprozess nicht gut lernen, und ein einfacherer Generator wie ein Variationsautoencoder ist sicherer.

Grenzen und Hinweise

  • Erfordert einen großen Datensatz oder ein vortrainiertes Modell – kleine Datenmengen führen zu schlechter Generierungsqualität.
  • GPU/TPU-Hardware ist für Training und praktische Nutzung erforderlich.
  • Die Inferenz ist langsam, da das Sampling viele Entrauschungsschritte durchläuft.
  • Unter etwa 1000 Stichproben kann der Entrauschungsprozess nicht zuverlässig gelernt werden.

Die Bedingungen der Quelle ersetzen weder eine unabhängige wissenschaftliche Prüfung noch die Validierung durch eine Analyse-Engine.

Stärken

  • Erzeugt qualitativ hochwertigere und vielfältigere Stichproben als GANs über Bilder, Audio und Moleküle hinweg.
  • Das Training ist stabil und vermeidet den Moduskollaps und die gegnerische Instabilität, die GANs plagen.
  • Latent-Diffusion-Varianten machen die Erzeugung hochauflösender Bilder rechnerisch handhabbar.
  • Unterstützt natürlich bedingte Generierung, wie z. B. Text-zu-Bild-Prompting.

Anwendungen

  • Synthese hochauflösender Bilder und Text-zu-Bild-Generierung.
  • Audio- und Spracherzeugung.
  • Generierung von Molekül- und Materialstrukturen in Chemie und Naturwissenschaften.
  • Datenerweiterung und bedingte Generierung aus vortrainierten Backbones.

So funktioniert es

So funktioniert es

1

Ein fester Vorwärtsprozess korrumpiert jedes Trainingsbeispiel, indem über viele Schritte kleine Mengen Gaußschen Rauschens hinzugefügt werden, bis die Daten in reines Rauschen verwandelt sind. Dieser Prozess erfordert kein Lernen – er definiert einfach die Trajektorie von sauberen Daten zu Rauschen, die das Modell später umkehren wird.

Formel
q(x_t \mid x_{t-1}) = \mathcal{N}(x_t; \sqrt{1-\beta_t}\,x_{t-1}, \beta_t I)
2

Ein neuronales Netz (typischerweise ein U-Net) wird trainiert, um das Rauschen vorherzusagen, das in einem gegebenen Schritt hinzugefügt wurde. Durch Minimierung des quadratischen Fehlers zwischen dem wahren und dem vorhergesagten Rauschen über viele Zeitschritte und Beispiele hinweg lernt das Netz, wie eine verrauschte Eingabe einen Schritt näher an saubere Daten gebracht werden kann.

Formel
\mathcal{L} = \mathbb{E}_{t, x_0, \epsilon}\big[\,\lVert \epsilon - \epsilon_\theta(x_t, t) \rVert^2\,\big]
3

Um eine neue Stichprobe zu erzeugen, beginnt das Modell mit zufälligem Rauschen und wendet wiederholt den gelernten Entrauschungsschritt an, subtrahiert vorhergesagtes Rauschen und fügt einen kleinen stochastischen Term hinzu, bis eine saubere Ausgabe erscheint. Latent-Diffusion-Varianten (Stable Diffusion) führen diese Schleife in einem komprimierten latenten Raum aus, um die Erzeugung hochauflösender Bilder handhabbar zu machen.

Formel
x_{t-1} = \frac{1}{\sqrt{\alpha_t}}\Big(x_t - \frac{\beta_t}{\sqrt{1-\bar{\alpha}_t}}\,\epsilon_\theta(x_t, t)\Big) + \sigma_t z

Häufige Fallstricke

  • Versuch, von Grund auf mit einem kleinen Datensatz zu trainieren, anstatt ein vortrainiertes Modell feinabzustimmen.
  • Unterschätzung des Rechenaufwands: Training und sogar Inferenz erfordern GPU/TPU-Ressourcen.
  • Erwartung von Echtzeitausgaben, wenn mehrstufiges Sampling die Inferenz inhärent langsam macht.
  • Verwendung eines Diffusionsmodells, wo ein viel einfacherer Generator (z. B. ein VAE) für die vorhandenen Daten ausreichen würde.

Häufig gestellte Fragen

Wie unterscheidet sich ein Diffusionsmodell von einem GAN?

Beide sind generativ, aber ein GAN trainiert einen Generator gegen einen Diskriminator, was instabil sein und zu Moduskollaps neigen kann. Ein Diffusionsmodell lernt stattdessen, einen Verrauschungsprozess schrittweise umzukehren, was zu stabilerem Training und typischerweise qualitativ hochwertigeren, vielfältigeren Stichproben führt.

Wie viele Daten benötige ich?

Das Training von Grund auf erfordert im Allgemeinen etwa 1000 Stichproben oder mehr; darunter kann der Entrauschungsprozess nicht gut gelernt werden. Bei kleinen Datenmengen sollte ein vortrainiertes Modell feinabgestimmt oder ein einfacherer Generator wie ein Variationsautoencoder verwendet werden.

Warum ist die Generierung langsam?

Das Sampling beginnt mit Rauschen und wendet den gelernten Entrauschungsschritt viele Male hintereinander an, sodass die Erzeugung einer Stichprobe viele Netzwerkdurchläufe erfordert. Latent-Diffusion-Varianten reduzieren den Aufwand, indem sie in einem komprimierten latenten Raum arbeiten.

Benötige ich spezielle Hardware?

Ja. Diffusionsmodelle erfordern GPU- oder TPU-Hardware für das Training und für die praktische Inferenz; die reine CPU-Nutzung ist im Allgemeinen unpraktisch.

Verwandte Methoden

Quellen

  1. Ho, J., Jain, A. & Abbeel, P. (2020). Denoising Diffusion Probabilistic Models. NeurIPS.

    Publikationsreferenz öffnen
    Kopiert.
  2. Rombach, R., Blattmann, A., Lorenz, D., Esser, P. & Ommer, B. (2022). High-Resolution Image Synthesis with Latent Diffusion Models. CVPR.

    Publikationsreferenz öffnen
    Kopiert.