Skip to content
検索結果に戻る

オートエンコーダー

提唱者
Hinton, G.E. & Salakhutdinov, R.R.
年
2006
種類
Neural network (encoder-decoder)

この文章は機械翻訳で、まだ確認されていません。 英語の原文を読む

文字サイズ

何をする手法か?

オートエンコーダーは、ヒントンとサラフティノフによって2006年に普及したエンコーダー・デコーダーニューラルネットワークであり、データを低次元の潜在コードに圧縮してから再構築することで、次元削減と異常検知を可能にします。狭いボトルネックを通して自身の入力を再構築することを学習することにより、データのコンパクトな表現を発見します。

手法の背後にある直感

長い文書を1つの文に要約してから、その文だけで元の文書全体を書き直すように求められると想像してみてください。これをうまく行うには、最も重要なことだけを残す必要があります。オートエンコーダーはまさにこの規律を学習します。各観測値を狭いボトルネックを通して絞り込み、絞り込まれたコードから元のものを再構築しようとします。絞りを生き残ったものがデータの真髄であり、ネットワークがうまく再構築できない入力は異常として際立ちます。

歴史学

入力を再構築することによってコンパクトなコードを学習するというオートエンコーダーの考えは、2006年のサイエンス誌の論文でジェフリー・ヒントンとルスラン・サラフティノフによって注目を集めました。この論文は、ディープニューラルネットワークが古典的な線形技術よりも効果的にデータの次元を削減できることを示しました。この研究は、ニューラルネットワークを表現学習の実用的なツールとして確立するのに役立ちました。

使うべき場面

比較的多数のサンプル(約200観測値以上)があり、連続値データに対して非線形次元削減または異常検知を行うためにオートエンコーダーを使用してください。正規分布データを必要としませんが、意味のある潜在空間を学習するのに十分なデータが必要であり、隠れ層のサイズを選択することが重要です。少数のサンプル(約200未満)ではPCAがより安全な選択であり、約50未満ではニューラルネットワークの次元削減は完全に失敗します。

限界と注意点

  • 意味のある潜在空間を学習するには、比較的多数のサンプル(約200観測値以上)が必要である。
  • 隠れ層(潜在層)のサイズの選択は重要であり、結果に強く影響する。
  • 小さなデータセットでは潜在空間を学習できず、より単純なPCAが好ましい。
  • 約50観測値未満では、ニューラルネットワークベースの次元削減は完全に失敗する。

出典に示された条件は、独立した科学的レビューや分析エンジンによる検証の代わりにはなりません。

強み

  • PCAなどの線形手法が見逃す非線形構造を捉える。
  • 同じ学習済み表現から次元削減と異常検知の両方に役立つ。
  • 仮定が少ない:正規分布データを必要としない。
  • 潜在コードは、複雑な連続データのコンパクトで学習された表現を提供する。

応用

  • 高次元連続データの非線形次元削減。
  • 大きな再構築誤差を持つ観測値をフラグ付けすることによる異常検知。
  • 下流タスクの特徴量としてコンパクトな潜在表現を学習する。
  • 線形削減が不十分な複雑なデータの探索的分析。

使い方

使い方

1

エンコーダーは、1つ以上の隠れ層を通して入力を低次元の潜在コードにマッピングします。この隠れ層(ボトルネック)のサイズは重要な設計上の選択です。広すぎるとネットワークは単に入力をコピーし、狭すぎると意味のある構造を失います。

数式
z = f(Wx + b)
2

デコーダーは潜在コードを取り、隠れ層を通して元の次元に向かって拡張し、入力の再構築を生成します。エンコーダーとデコーダーは単一のネットワークとして一緒にトレーニングされます。

数式
\hat{x} = g(W'z + b')
3

トレーニングは、入力とその再構築されたバージョンとの差である再構築誤差を最小化します。トレーニングが完了すると、潜在コードは次元削減のための圧縮された表現として機能し、大きな再構築誤差は学習されたパターンに適合しない観測値をフラグ付けし、異常検知をサポートします。

数式
\min \; \lVert x - \hat{x} \rVert^2

よくある落とし穴

  • PCAが適切でより信頼性が高い場合でも、小さなサンプルに適用すること。
  • ネットワークが圧縮するのではなく入力をコピーするように、ボトルネックを広すぎに設定すること。
  • 意味のある構造を破棄するように、ボトルネックを狭すぎに設定すること。
  • 連続値特徴量ではなく、適していないデータ型に使用すること。

よくある質問

オートエンコーダーはPCAとどう違うのですか?

PCAはデータに対する最適な線形射影を見つけますが、オートエンコーダーは隠れ層を通して非線形表現を学習できます。少数のサンプルや線形要約で十分な場合は、PCAの方がシンプルで信頼性が高いです。オートエンコーダーは、データに非線形構造があり、サンプルが十分に大きい場合に効果を発揮します。

どのくらいのデータが必要ですか?

約200観測値以上。それ以下では、ネットワークは意味のある潜在空間を学習できず、PCAの方が安全な選択です。約50観測値未満では、ニューラルネットワークの次元削減は完全に失敗します。

これで異常をどうやって検出しますか?

トレーニング後、観測値をネットワークに通し、再構築誤差を測定します。モデルがうまく再構築できない点(誤差が大きい点)は、学習されたパターンに適合せず、異常としてフラグ付けされます。

最も重要な設定は何ですか?

隠れ層(ボトルネック)のサイズ。広すぎるとネットワークは有用な圧縮を学習せずに単に入力をコピーし、狭すぎると意味のある構造を破棄します。

関連する手法

参考文献

  1. Hinton, G.E. & Salakhutdinov, R.R. (2006). Reducing the Dimensionality of Data with Neural Networks. Science, 313(5786), 504–507.

    DOI 文献を開く
    コピーしました。