Skip to content
検索結果に戻る

拡散モデル

提唱者
Ho, J., Jain, A. & Abbeel, P.
年
2020
種類
Generative deep learning (denoising diffusion)

この文章は機械翻訳で、まだ確認されていません。 英語の原文を読む

文字サイズ

何をする手法か?

拡散モデルは、Ho、Jain、Abbeelによって2020年(DDPM)に導入された生成ディープラーニング手法であり、段階的なノイズ付加プロセスを逆転させることで、高品質な画像、音声、分子構造の生成を学習します。生成モデリングにおける現在の最先端技術として、GANを大きく置き換えています。

手法の背後にある直感

写真を徐々にノイズを少しずつ加えて純粋なノイズにぼかしていく様子を想像してください。拡散モデルは逆の旅を学習します。ランダムノイズから始まり、各ステップでノイズを少しずつ除去していくと、クリーンでリアルなサンプルが現れます。一度に1つの小さなノイズステップを元に戻すだけでよいため、タスクは一度に画像をすべて生成するよりも学習がはるかに安定します。

歴史学

ノイズ除去拡散確率モデルは、2020年にHo、Jain、Abbeelによって導入され、以前の拡散アイデアに基づいてGANに匹敵する画像品質を示しました。2022年にはRombachらが潜在拡散モデルを導入し、圧縮された潜在空間で拡散プロセスを実行しました。これにより高解像度合成が実用的になり、Stable Diffusionなどのシステムを支えています。拡散モデルはそれ以来、主要な生成アプローチとなり、GANを大きく置き換えています。

使うべき場面

高品質な画像、音声、または分子構造を生成する必要があり、大規模なデータセット(約1000サンプル以上)があるか、事前学習済みモデルにアクセスできる場合に拡散モデルを使用してください。 substantialなデータまたは事前学習を前提としており、GPU/TPUハードウェアが必要ですが、サンプリングは多くのノイズ除去ステップを反復するため、推論は遅くなる可能性があります。約1000サンプル未満の場合、モデルはノイズ除去プロセスをうまく学習できず、変分オートエンコーダーのようなより単純なジェネレーターの方が安全です。

限界と注意点

  • 大規模なデータセットまたは事前学習済みモデルが必要です。データが少ないと生成品質が悪くなります。
  • 訓練および実用的な使用にはGPU/TPUハードウェアが必要です。
  • サンプリングは多くのノイズ除去ステップを反復するため、推論は遅くなります。
  • 約1000サンプル未満では、ノイズ除去プロセスを確実に学習できません。

出典に示された条件は、独立した科学的レビューや分析エンジンによる検証の代わりにはなりません。

強み

  • 画像、音声、分子全体でGANよりも高品質で多様なサンプルを生成します。
  • 訓練は安定しており、GANを悩ませるモード崩壊や敵対的不安定性を回避します。
  • 潜在拡散バリアントは、高解像度生成を計算上実用的にします。
  • テキストから画像へのプロンプティングのような条件付き生成を自然にサポートします。

応用

  • 高解像度画像合成およびテキストから画像への生成。
  • 音声およびスピーチ生成。
  • 化学および自然科学における分子および材料構造の生成。
  • 事前学習済みバックボーンからのデータ拡張および条件付き生成。

使い方

使い方

1

固定された前方プロセスは、多くのステップにわたって少量のガウスノイズを付加することで各訓練例を破損させ、データが純粋なノイズに変わるまで続きます。このプロセスは学習を必要としません。単に、モデルが後に逆転させる、クリーンなデータからノイズへの軌跡を定義するだけです。

数式
q(x_t \mid x_{t-1}) = \mathcal{N}(x_t; \sqrt{1-\beta_t}\,x_{t-1}, \beta_t I)
2

ニューラルネットワーク(通常はU-Net)は、特定のステップで付加されたノイズを予測するように訓練されます。多くの時間ステップと例にわたって真のノイズと予測されたノイズの間の二乗誤差を最小化することにより、ネットワークはノイズの多い入力をクリーンなデータに近づける方法を学習します。

数式
\mathcal{L} = \mathbb{E}_{t, x_0, \epsilon}\big[\,\lVert \epsilon - \epsilon_\theta(x_t, t) \rVert^2\,\big]
3

新しいサンプルを生成するために、モデルはランダムノイズから開始し、学習済みのノイズ除去ステップを繰り返し適用し、予測されたノイズを減算して小さな確率項を加えていくと、クリーンな出力が現れます。潜在拡散バリアント(Stable Diffusion)は、高解像度生成を実用的にするために、圧縮された潜在空間でこのループを実行します。

数式
x_{t-1} = \frac{1}{\sqrt{\alpha_t}}\Big(x_t - \frac{\beta_t}{\sqrt{1-\bar{\alpha}_t}}\,\epsilon_\theta(x_t, t)\Big) + \sigma_t z

よくある落とし穴

  • 事前学習済みモデルをファインチューニングする代わりに、少量のデータでスクラッチから訓練を試みること。
  • 計算能力の過小評価:訓練および推論でさえGPU/TPUリソースを要求します。
  • 多段階サンプリングにより推論が本質的に遅くなるため、リアルタイム出力を期待すること。
  • 手持ちのデータで十分な場合に、はるかに単純なジェネレーター(例:VAE)で十分な場合に拡散モデルを使用すること。

よくある質問

拡散モデルはGANとどう違うのですか?

どちらも生成モデルですが、GANは生成器を識別器に対して訓練するため、不安定でモード崩壊を起こしやすい可能性があります。拡散モデルは代わりに、ノイズ付加プロセスを段階的に逆転させることを学習し、より安定した訓練と通常はより高品質で多様なサンプルを提供します。

どのくらいのデータが必要ですか?

スクラッチからの訓練には通常約1000サンプル以上が必要です。それ未満ではノイズ除去プロセスをうまく学習できません。データが少ない場合は、事前学習済みモデルをファインチューニングするか、変分オートエンコーダーのようなより単純なジェネレーターを使用してください。

なぜ生成が遅いのですか?

サンプリングはノイズから始まり、学習済みのノイズ除去ステップを多数連続して適用するため、1つのサンプルを生成するには多くのネットワークパスが必要です。潜在拡散バリアントは、圧縮された潜在空間で作業することでコストを削減します。

特別なハードウェアは必要ですか?

はい。拡散モデルは、訓練および実用的な推論にGPUまたはTPUハードウェアを必要とします。CPUのみの使用は一般的に実用的ではありません。

関連する手法

参考文献

  1. Ho, J., Jain, A. & Abbeel, P. (2020). Denoising Diffusion Probabilistic Models. NeurIPS.

    出版物の文献を開く
    コピーしました。
  2. Rombach, R., Blattmann, A., Lorenz, D., Esser, P. & Ommer, B. (2022). High-Resolution Image Synthesis with Latent Diffusion Models. CVPR.

    出版物の文献を開く
    コピーしました。