ベイズオートエンコーダ異常検知
- 提唱者
- Kingma, D. P. & Welling, M.; applied to anomaly detection by An & Cho
- 年
- 2014–2015
- 種類
- Probabilistic generative model for unsupervised anomaly detection
- 系統
- Machine learning
この文章は機械翻訳で、まだ確認されていません。 英語の原文を読む
何をする手法か?
ベイズオートエンコーダ異常検知は、正常データで学習された確率的生成モデルである変分オートエンコーダを用いて、再構成誤差が大きい、あるいは学習済み分布の下での尤度が低いものを異常としてフラグを立てます。潜在空間を固定点ではなく確率分布として扱うことで、各異常スコアとともに原理に基づいた不確実性推定を提供し、特に重要な検出タスクにおいて価値があります。
手法の背後にある直感
標準的なオートエンコーダは、学習データを圧縮・再構成することを学習します。学習セットとは異なるオブジェクトは、再構成が悪く、したがって異常としてスコアリングされます。ベイズ版は、通常、変分オートエンコーダとして実装されますが、さらに進んでいます。各入力を潜在空間の単一の点にエンコードするのではなく、確率分布にエンコードします。これは、モデルが何が正常であるかを知るだけでなく、その評価にどれだけ自信があるかを知ることを意味します。異常スコアは、潜在事後分布全体で平均化された再構成確率として計算されるため、脆い点推定ではなく、固有の不確実性を持ちます。
歴史学
変分オートエンコーダは、2014年にKingmaとWellingによって、ニューラルネットワークの柔軟性と再パラメータ化トリックによるベイズ潜在変数推論を組み合わせた、深層生成モデリングのための原理的なフレームワークとして導入されました。異常検知への応用は、2015年にAnとChoによって形式化され、再構成誤差ではなく再構成確率がより信頼性の高い異常スコアを提供することを示しました。それ以来、ベイズオートエンコーダは教師なし異常検知研究の標準ツールとなり、時系列、グラフデータ、フェデレーテッド設定への拡張が行われています。
使うべき場面
大量のラベルなし正常データはあるが、確認済みの異常ラベルがほとんどない、またはまったくない場合。入力空間が高次元(例:画像、センサー配列、多チャンネル時系列、または広範な表形式データ)であり、下流の意思決定(例:医療画像、不正検出、産業品質管理)のために異常スコアとともに不確実性推定が必要な場合に、ベイズオートエンコーダ異常検知を使用します。正常データ多様体が複雑で非線形である場合、Isolation ForestやOne-Class SVMのような単純な手法よりも優れた性能を発揮します。データセットが小さい(数百サンプル未満)、入力が線形構造を持つ低次元である(古典的な統計的手法の方がシンプルで解釈しやすい)、GPUアクセラレーションなしで厳密なリアルタイムスループットが必要な場合、または明示的な異常クラスが利用可能で教師あり分類が可能な場合は使用しないでください。
限界と注意点
- 大量の正常な例の学習データを必要とします。希少または異質な正常クラスデータはパフォーマンスを低下させます。
- 学習は計算コストが高く、非自明な入力サイズでは通常GPUアクセラレーションが必要です。
- ハイパーパラメータの選択(潜在次元、アーキテクチャの深さ、KL項のベータ重み付け)は結果に強く影響し、慎重な調整が必要です。
- 事後崩壊(エンコーダが入力を見落とす一般的なVAEの病理)は、異常スコアを静かに低下させる可能性があります。
- 追加の後処理分析なしでは、特定のサンプルが異常としてフラグ付けされた理由を解釈することは依然として困難です。
出典に示された条件は、独立した科学的レビューや分析エンジンによる検証の代わりにはなりません。
強み
- リスクを考慮した意思決定をサポートする、各異常スコアのキャリブレーションされた不確実性推定を提供します。
- 線形またはカーネル法を無効にする高次元および非線形データ分布を処理します。
- 完全に教師なし:学習に異常ラベルは必要ありません。
- 学習された潜在空間を可視化・解釈して、モデルが正常と見なすパターンを理解できます。
- 柔軟なアーキテクチャにより、ドメイン固有の事前分布や構造化された潜在空間を組み込むことができます。
- 再構成確率は、生の平均二乗誤差よりも原理的であり、任意のスケーリングに対する感度を低減します。
応用
- 製造業における産業的欠陥検出(視覚検査データを使用)。
- 医療画像異常検知(例:健康な被験者のみで学習したMRIスキャンにおける病変検出)。
- ネットワーク侵入検知(正常なトラフィックパターンは豊富だが、攻撃はまれで多様)。
- ラベル付き不正ケースが入手できない、またはすぐに古くなる場合の金融不正検出。
- 産業機械のセンサー配列異常検知による予知保全。
- 科学データ品質管理(実験データセットにおける異常な観測値のフラグ付け)。
使い方
使い方
エンコーダニューラルネットワークは、各入力xを、潜在変数z上のガウス事後分布のパラメータ(平均と分散)にマッピングし、単一のコードにコミットするのではなく、圧縮表現に関するモデルの不確実性を捉えます。
数式
q_{\phi}(z|x) = \mathcal{N}(\mu_{\phi}(x),\,\sigma^{2}_{\phi}(x))潜在コードは、再パラメータ化トリック(事後平均にスケールされたノイズを追加する)によってサンプリングされ、サンプリングステップを微分可能にするため、バックプロパゲーションによってネットワーク全体を学習できます。
数式
z = \mu_{\phi}(x) + \epsilon\,\sigma_{\phi}(x),\quad \epsilon \sim \mathcal{N}(0,I)デコーダネットワークは、サンプリングされた潜在コードを、入力空間上の再構成分布にマッピングし、正常データの生成プロセスを学習します。
数式
p_{\theta}(x|z)学習は、期待再構成対数尤度から、事後分布を標準ガウス事前分布に近づけるKLダイバージェンスを引いたもの(ELBO)を最大化します。学習中には、正常(インディストリビューション)データのみが使用されます。
数式
\mathcal{L} = \mathbb{E}_{q}[\log p_{\theta}(x|z)] - D_{\mathrm{KL}}(q_{\phi}(z|x)\|p(z))推論時には、デコーダの下での入力の負の期待対数尤度を、複数の事後サンプルで平均化したものを異常スコアとして計算します。高いスコアは、モデルが学習済みの正常データ分布の下でうまく再構成できない入力を示します。
数式
s(x) = -\mathbb{E}_{z \sim q_{\phi}(z|x)}[\log p_{\theta}(x|z)]よくある落とし穴
- 「正常」クラスに異常が含まれる汚染されたデータセットで学習し、モデルが異常パターンを正常として学習してしまう。
- 確認済みの正常な例のホールドアウト検証セットを使用せずに、異常スコアのしきい値を任意に選択する。
- 学習中の事後崩壊を無視すること。これにより、再構成誤差が均一に情報不足になる可能性があります。
- 正規化せずに、異なる入力スケールのデータセット間で生の再構成誤差を比較する。
- 非常に不均衡なテストセットで精度のみで評価するのではなく、AUROCまたは平均精度を使用する。
よくある質問
これは、異常検知のための標準的な(決定論的な)オートエンコーダとどう異なりますか?
標準的なオートエンコーダは、入力を固定された潜在コードにマッピングし、再構成誤差で異常をスコアリングします。ベイズ(変分)オートエンコーダは、入力を潜在分布にマッピングし、事後サンプルで平均化された再構成確率で異常をスコアリングします。確率的定式化は、より高い学習複雑性を犠牲にして、より信頼性の高いスコアと明示的な不確実性を提供します。
どの潜在次元を選択すべきですか?
潜在次元は、正常データの構造を捉えるのに十分な大きさでありながら、モデルが個々のサンプルを記憶するのを防ぐのに十分な小ささであるべきです。入力次元の約5〜20%の次元から始め、ホールドアウトされた正常セットでの再構成品質を通じて調整してください。
この手法を実行するためにGPUハードウェアは必要ですか?
中程度の幅(数百の特徴未満)の表形式データの場合はCPUでも実行可能ですが、学習は遅くなります。画像または高次元センサーデータの場合は、GPUを強く推奨します。推論(スコアリング)は通常、学習よりもはるかに高速です。
異常しきい値はどう設定しますか?
しきい値は学習中に学習されません。確認済みの正常サンプルのホールドアウトセットを使用し、ドメインで許容可能な偽陽性率を与えるスコアのパーセンタイル(例:95番目または99番目)を選択してください。最終的なパフォーマンスを評価するために使用されたのと同じデータでしきい値を選択することは避けてください。
一部の異常がトレーニングセットに現れる場合、この手法は機能しますか?
軽微な汚染(数パーセント)は、モデルが多数派クラスで最適化されているため、しばしば許容されます。しかし、重度の汚染は、モデルが「正常」として学習するものをシフトさせるため、可能な限り徹底的にトレーニングデータをクリーニングすることによって最小限に抑える必要があります。
関連する手法
参考文献
Kingma, D. P. & Welling, M. (2014). Auto-Encoding Variational Bayes. Proceedings of the 2nd International Conference on Learning Representations (ICLR 2014).
出版物の文献を開くコピーしました。An, J. & Cho, S. (2015). Variational Autoencoder based Anomaly Detection using Reconstruction Probability. ICDM Workshop on Data Mining in Networks.
出版物の文献を開くコピーしました。