Skip to content
検索結果に戻る

スコアベース生成モデル

提唱者
Song, Y. & Ermon, S.
年
2019
種類
Score-based generative model (SDE framework)

この文章は機械翻訳で、まだ確認されていません。 英語の原文を読む

文字サイズ

何をする手法か?

スコアベース生成モデルは、2019年にYang SongとStefano Ermonによって導入され、2021年に確率微分方程式(SDE)フレームワークに一般化されたもので、ノイズを直接予測するのではなく、データ密度勾配、すなわちスコアを学習し、それを用いて新しいサンプルを生成する。これは、連続時間定式化の下で拡散モデルを統一する数学的一般化である。

手法の背後にある直感

データがどのように見えるかを記憶する代わりに、モデルは任意の点をデータが密な領域に向かって移動させるためにどの方向に動かすべきかを学習する。その方向がスコア、すなわち対数密度の勾配である。どこからでも密度が高い方向へ指し示すことができれば、純粋なノイズから開始し、これらの方向を段階的にたどることで、現実的なサンプルに到達できる。

歴史学

スコアベース生成モデリングは、2019年にSongとErmonによってデータ分布の勾配を推定することによる生成モデリングとして導入された。2021年にSongらは、確率微分方程式フレームワークでこのアイデアを再定式化し、連続ノイズレベルでのスコアマッチングが拡散モデルを一般化し、いくつかの以前の生成定式化を単一の連続時間ビューの下に統一することを示した。

使うべき場面

大規模な訓練セット(約1000観測値以上)または事前学習済みモデルが利用可能で、GPU/TPUリソースが使用できる場合に、連続データの高忠実度生成および密度推定に適している。正規性の仮定をしないが、サンプラーは選択されたSDEに一致させる必要がある。約1000観測値未満では、変分オートエンコーダーがより安全な選択肢であり、500未満ではPCAのようなより単純な方法が好ましい。

限界と注意点

  • 密度勾配を確実に推定するには、大規模なデータセット(約1000観測値以上)または事前学習済みモデルが必要である。
  • 訓練およびサンプリングにはGPU/TPUハードウェアが必要である。
  • サンプラーはSDEタイプに合わせて選択する必要があり、設定の負担が増える。
  • サンプル数が少ない場合、スコア推定が悪く、生成が無意味になる。

出典に示された条件は、独立した科学的レビューや分析エンジンによる検証の代わりにはなりません。

強み

  • 拡散モデルの原理的な数学的一般化を与える、データ密度勾配を直接学習する。
  • 連続時間SDEフレームワークは、複数の拡散定式化を1つの目的の下に統一する。
  • データに対する正規性の仮定がない。
  • 連続データの高忠実度サンプルを生成し、密度推定をサポートする。

応用

  • 画像などの連続データの高忠実度生成。
  • 密度推定および複雑なデータ分布のモデリング。
  • 離散拡散定式化を包含する連続時間生成モデリング。
  • 大規模データまたは事前学習済みモデルが利用可能な予測および説明的生成タスク。

使い方

使い方

1

ニューラルネットワークは、データ分布のスコア、すなわち入力に対する対数密度の勾配を推定するために訓練される。追加されたノイズを予測するのではなく、データが集中している方向を指し示す方向場を学習する。これが、このアプローチが拡散モデルの数学的一般化である理由である。

数式
s_\theta(x) \approx \nabla_x \log p(x)
2

順方向の確率微分方程式は、連続時間を通じてデータを徐々にノイズに変換する。ドリフト項と、ガウスノイズを注入する拡散項を持つ。これにより、ネットワークがすべてのノイズレベルで学習する、ますますノイズの多い分布の滑らかな族が定義される。

数式
dx = f(x,t)\,dt + g(t)\,dw
3

生成は、学習されたスコアを使用してノイズからのサンプルをデータ分布に向かって誘導する、対応する逆時間SDEを解くことによってプロセスを逆転させる。SDEのタイプ選択が適切なサンプラーを決定し、積分はGPUまたはTPUハードウェアで実行される。

数式
dx = [f(x,t) - g(t)^2 \nabla_x \log p_t(x)]\,dt + g(t)\,d\bar{w}

よくある落とし穴

  • スコアが正確に推定できない約1000観測値の閾値を下回って適用すること。
  • 選択されたSDE定式化に一致しないサンプラーを使用すること。
  • GPU/TPUリソースなしで訓練を試みること。
  • SDEベースの生成が無意味であり、PCAのようなより単純なモデルを使用すべき約500観測値未満に低下すること。

よくある質問

モデルが学習するスコアとは何か?

スコアは、入力に対する対数確率密度の勾配である。すべての点とノイズレベルでそれを知ることで、モデルはサンプルを実際のデータが集中している方向へ押し出すことができる。

拡散モデルとはどのように関連しているか?

拡散モデルの数学的一般化である。順方向の破損と逆方向の生成を連続時間確率微分方程式として定式化することにより、スコアベースモデリングは拡散アプローチを1つのフレームワークの下に統一する。

どのくらいのデータが必要か?

約1000観測値以上、または事前学習済みモデル。1000未満では変分オートエンコーダーがより安全であり、500未満ではSDEベースの生成が無意味であり、PCAのようなより単純な方法が好ましい。

どのようなハードウェアが必要か?

訓練とサンプリングの両方にGPUまたはTPUリソースが必要であり、サンプラーは使用されるSDEのタイプに合わせて選択する必要がある。

関連する手法

参考文献

  1. Song, Y. & Ermon, S. (2019). Generative Modeling by Estimating Gradients of the Data Distribution. NeurIPS 32, 11895–11907.

    出版物の文献を開く
    コピーしました。
  2. Song, Y. et al. (2021). Score-Based Generative Modeling through Stochastic Differential Equations. ICLR.

    出版物の文献を開く
    コピーしました。