Skip to content
検索結果に戻る

Variational Autoencoder

提唱者
Kingma, D. P. & Welling, M.
年
2014
種類
Deep generative latent-variable model (encoder–decoder)

この文章は機械翻訳で、まだ確認されていません。 英語の原文を読む

文字サイズ

何をする手法か?

変分オートエンコーダ(VAE)は、2014年にDiederik KingmaとMax Wellingによって導入された深層生成潜在変数モデルであり、データを潜在空間内の確率分布としてエンコードし、その分布からサンプリングして新しい例を生成します。データ生成、異常検知、特徴学習に使用されます。

手法の背後にある直感

通常のオートエンコーダは、各入力を圧縮空間内の単一の点に押し込みますが、これは再構成には適していますが、新しいデータを作成するための原理的な方法を残しません。VAEは代わりに、各入力を小さな確率の雲(平均と分散)にマッピングし、それらの雲を単純な参照分布に近づけるように強制します。潜在空間は滑らかで連続的になるため、そこから新しい点を描画でき、デコーダはそれを全く新しい、もっともらしい例に変換します。

歴史学

変分オートエンコーダは、2014年にDiederik KingmaとMax Wellingによって『Auto-Encoding Variational Bayes』で導入されました。この論文は、変分推論とニューラルネットワークエンコーダおよびデコーダを組み合わせ、モデルをエンドツーエンドでトレーニング可能にした再パラメータ化トリックを導入しました。2017年にはHigginsらが、KL項に係数を掛けてより分離された潜在因子を促進するbeta-VAEを提案しました。VAEは、GANや、より最近では拡散モデルと並んで、基本的な深層生成モデルの1つとなりました。

使うべき場面

約200以上の連続値の観測があり、新しいデータの生成、異常検知、または高次元入力の圧縮のために滑らかな潜在表現を学習したい場合、およびトレーニング用にGPUが利用可能な場合に適しています。モデルは連続的な潜在変数を仮定し、再構成損失とKLダイバージェンスを共同で最適化することによってトレーニングされます。約200サンプル未満では、潜在分布を意味のある形で学習できず、PCAのようなより単純な方法が好まれます。約50未満では完全に失敗します。

限界と注意点

  • 比較的大きなサンプル(約200以上)と、効果的なトレーニングには通常GPUが必要です。
  • 敵対的または拡散ベースの生成器と比較して、サンプルがぼやけて見えることがあります。
  • 小さなデータセットでは、潜在分布が意味のある形で学習されないため、PCAの方が安全な選択肢です。
  • 再構成項とKL項のバランスをとることはデリケートであり、KL項が崩壊して無視される可能性があります。

出典に示された条件は、独立した科学的レビューや分析エンジンによる検証の代わりにはなりません。

強み

  • 生成して真に新しい例を作成できる、滑らかで連続的な潜在空間を学習します。
  • 原理的な確率的フレームワークを提供し、単一の目的(証拠下限)を最適化します。
  • 生成以外にも、異常検知、特徴学習、非線形次元削減に役立ちます。
  • 正規分布の入力を必要とせず、高次元の連続データで機能します。
  • 再パラメータ化トリックにより、モデル全体を勾配降下法でエンドツーエンドでトレーニングできます。

応用

  • 学習された潜在空間から新しい合成データサンプルを生成すること。
  • モデルが再構成を悪くする入力をフラグ付けすることによる、異常および外れ値の検出。
  • 高次元データに対する非線形次元削減および特徴学習。
  • 下流の予測またはクラスタリングの事前ステップとしての表現学習。

使い方

使い方

1

エンコーダネットワークは各入力を読み取り、単一の固定コードではなく、潜在変数に対する分布のパラメータ(平均と分散)を出力します。これは、各観測を1点ではなく潜在空間の領域として表す確率的エンコーディングステップです。

数式
q_\phi(z \mid x) = \mathcal{N}(z; \mu_\phi(x), \sigma_\phi^2(x))
2

潜在ベクトルは、再パラメータ化トリックを使用してエンコードされた分布から描画されます。直接サンプリングする代わりに、モデルはサンプルを平均に標準偏差を掛けた標準ガウスノイズを加えたものとして記述します。ランダム性は外部ノイズ項にプッシュされるため、勾配はネットワークを流れることができ、モデルはエンドツーエンドでトレーニングできます。

数式
z = \mu + \sigma \odot \epsilon, \quad \epsilon \sim \mathcal{N}(0, I)
3

デコーダネットワークは、サンプリングされた潜在ベクトルをデータ空間にマッピングし、トレーニングは証拠下限を最適化します。これは、入力を忠実に再構築することを報酬する再構成項から、エンコードされた各分布を事前分布に近づけるKL項を引いたものです。これら2つの力のバランスをとることが、うまく再構成でき、新しいサンプルの生成もサポートする潜在空間を生み出します。

数式
\mathcal{L} = \mathbb{E}_{q_\phi}[\log p_\theta(x \mid z)] - D_{KL}(q_\phi(z \mid x) \,\|\, p(z))

よくある落とし穴

  • 少なすぎる観測(約200未満)でトレーニングし、意味のある生成モデルを期待すること。
  • KL項が潜在コードを情報不足にする後部崩壊を無視すること。
  • 生成されたサンプルの品質ではなく、再構成のシャープネスだけでモデルを評価すること。
  • サンプリングステップでの勾配の流れを壊し、再パラメータ化トリックをスキップすること。
  • PCAのような単純な線形次元削減で十分な場合に、VAEを使用すること。

よくある質問

通常のオートエンコーダとVAEの違いは何ですか?

通常のオートエンコーダは、再構成のみを最適化された単一の潜在コードに各入力をマッピングします。VAEは、各入力を確率分布としてエンコードし、その分布を事前分布に近づけるKL項を追加します。これにより、サンプリングして新しいデータを生成できる滑らかな潜在空間が得られます。

再パラメータ化トリックとは何ですか?

エンコードされた平均に標準偏差を掛けた標準ガウスノイズを加えたものとして潜在サンプルを書き換えます。ランダム性を外部ノイズ項に移動させることで、勾配がサンプリングステップを通過できるようになり、エンコーダとデコーダはバックプロパゲーションによって一緒にトレーニングできます。

どのくらいのデータとハードウェアが必要ですか?

少なくとも約200の連続観測が推奨され、トレーニングにはGPUが推奨されます。200未満では潜在分布が意味のある形で学習されず、PCAが好まれます。約50未満ではVAEは完全に失敗します。

beta-VAEとは何ですか?

2017年にHigginsらによって提案されたbeta-VAEは、KL項に係数(ベータ)を掛けます。ベータが大きいほど、潜在次元はより独立した分離された変動因子を捉えるように圧力をかけられますが、再構成忠実度がある程度犠牲になります。

関連する手法

参考文献

  1. Kingma, D. P. & Welling, M. (2014). Auto-Encoding Variational Bayes. International Conference on Learning Representations (ICLR).

    出版物の文献を開く
    コピーしました。
  2. Higgins, I. et al. (2017). beta-VAE: Learning Basic Visual Concepts with a Constrained Variational Framework. International Conference on Learning Representations (ICLR).

    出版物の文献を開く
    コピーしました。