アンサンブル・オートエンコーダ異常検知
- 提唱者
- Chen, J., Sathe, S., Aggarwal, C., & Turaga, D.
- 年
- 2017
- 種類
- Ensemble unsupervised anomaly detection
- 系統
- Machine learning
この文章は機械翻訳で、まだ確認されていません。 英語の原文を読む
何をする手法か?
アンサンブル・オートエンコーダ異常検知は、正常クラスのデータで複数のオートエンコーダニューラルネットワークを訓練し、それらの再構成誤差を集約して頑健な異常スコアを生成する手法である。単一のオートエンコーダに依存するのではなく、多様なオートエンコーダを組み合わせることで、外れ値のランキングを安定させ、ランダムな初期化や最適ではないアーキテクチャ選択への感度を低減する。
手法の背後にある直感
単一のオートエンコーダは、正常な観測値を圧縮してから再構成することを学習する。異常値は圧縮が悪く、高い再構成誤差を生じる。問題は、単一のオートエンコーダの異常スコアは脆弱であり、特定のランダムな初期化やアーキテクチャに依存することである。アンサンブルは、特徴量またはデータの異なるランダムなサブセットで多数のオートエンコーダを訓練し、それらの再構成誤差を平均化する。個々のネットワークの癖は相殺され、より安定した、より信頼性の高い異常信号が生成され、騙されにくく、閾値設定が容易になる。
歴史学
オートエンコーダベースの異常検知は、HintonとSalakhutdinovによる2006年の深層オートエンコーダに関する研究以降人気を博し、高い再構成誤差が自然な外れ値信号として現れた。アンサンブル拡張は、2017年のSIAMデータマイニング会議でChen、Sathe、Aggarwal、Turagaによって形式化され、特徴量バギングによるオートエンコーダの多様化が単一モデルよりも確実に優れたパフォーマンスを発揮することを示した。このアプローチは現在、ネットワーク侵入、予知保全、医療監視のための産業用異常検知パイプラインに日常的に登場している。
使うべき場面
主にラベルなしデータがあり、高次元連続特徴量(例:センサーデータストリーム、トランザクションログ、医療信号)におけるまれな異常を検出したい場合、かつ単一のオートエンコーダが実行間で不安定性を示した場合に使用する。異常ラベルがなく、単一のネットワークよりも安定性の高い教師なしベースラインが必要な場合にも有効である。データセットが非常に小さい場合(正常観測値が特徴量あたり数百未満)、オートエンコーダが意味のある多様体を学習できないため、使用しない。適切な埋め込み前処理なしで、カテゴリカルデータまたはスパーステキストデータには使用しない。単一の適切に調整されたアイソレーションフォレストまたはワンクラスSVMで十分な場合は使用しない。アンサンブルは訓練時間と複雑さを増大させるため。
限界と注意点
- K個のオートエンコーダの訓練は、計算量とメモリ要件を乗算する。深層ネットワークの大規模アンサンブルは高コストである。
- 異常が再構成誤差の高さによって特徴付けられると仮定する。学習された多様体上にある敵対的または構造化された異常は見逃される可能性がある。
- 訓練データ中の異常の割合に敏感である。重度の汚染は学習された正常な多様体を劣化させる。
- ハイパーパラメータの選択(モデル数、アーキテクチャ、集約関数)には、検証データまたはドメイン知識が必要。
出典に示された条件は、独立した科学的レビューや分析エンジンによる検証の代わりにはなりません。
強み
- 単一のオートエンコーダと比較して異常スコアの分散を低減し、ランダムシード間でより安定したランキングを提供する。
- 多様な検出器の集約は、正常性の異なる側面を捉え、異種異常タイプの検出率を向上させる。
- 完全に教師なしであり、異常ラベルは不要で、正常または混合されたラベルなしデータのみが必要。
- k-NN異常検知のような距離ベースの手法が劣化する高次元連続データにスケールする。
- オートエンコーダアーキテクチャ(バニラ、変分、畳み込み)の幅広い範囲と互換性があり、データ構造に合わせることができる。
- アンサンブルスコアは、単一ネットワークのスコアよりも信頼性の高い閾値設定が可能であり、キャリブレーション作業を削減する。
応用
- 高次元パケットまたはフロー特徴量からのネットワーク侵入検知。
- 多変量センサー時系列データに対する予知保全異常スコアリング。
- ラベルなしまたは弱ラベル付きストリームにおける金融取引不正検出。
- まれな病理学的パターンに対する医療生体信号モニタリング(ECG、EEG)。
- 欠陥例が少ない製造業における品質管理。
- アクティブラーニングラベリングキャンペーン前のベースライン教師なし外れ値スコアリング。
使い方
使い方
K個のオートエンコーダは、(仮定として)正常な訓練データで独立に訓練される。各オートエンコーダは、異なるランダムな初期化、およびオプションで異なる入力特徴量のサブセットまたはネットワークアーキテクチャを持つ。訓練は、各ネットワークが正常サンプルに対する再構成損失を最小化するように促し、それによって正常な振る舞いの多様体を学習する。
各テスト観測値に対して、すべてのオートエンコーダがそれを潜在表現にエンコードし、デコードする。元の入力と再構成との間の二乗L2距離が、ネットワークごとの異常スコアとなる。高い誤差は、観測値が学習された正常な多様体から逸脱していることを示す。
数式
e_i^{(k)} = \|x_i - \hat{x}_i^{(k)}\|_2K個の個別のスコアは、観測値ごとに単一の異常スコアに集約される。一般的には、平均化、最大値の取得、またはランク正規化された組み合わせの適用による。平均化は分散を低減し、最大値は少なくとも1つの検出器が異常を捉えることに対してより敏感である。
数式
s_i = f(e_i^{(1)}, e_i^{(2)}, \ldots, e_i^{(K)})集約されたスコアに閾値を適用して、観測値を異常としてラベル付けする。閾値は通常、保持された正常データに対する目標偽陽性率によって選択されるか、またはグラウンドトゥルースラベルが存在しない場合にスコア値の上位pパーセントを異常として扱うことによって選択される。
よくある落とし穴
- 訓練セットに異常値を認識せずに含めること。これにより、学習された正常な多様体が破損し、汚染に対する異常スコアが抑制される。
- 閾値を調整するための保持された正常サンプルなしで訓練セットのみで評価すること。これにより、過度に信頼性の高い異常ラベルが得られる。
- 異常スコアを駆動する特徴量をマスクする、各次元の寄与を確認せずに再構成誤差のみを使用すること。
- アンサンブルは調整不要と見なすこと。オートエンコーダの数、その深さ、および集約関数はすべてパフォーマンスに影響を与え、検証されるべきである。
- 特徴量の数に対して観測値が非常に少ないデータセットに手法を適用すること。この場合、オートエンコーダは一般化できず、すべての点が異常に見える。
よくある質問
アンサンブルにはいくつのオートエンコーダを含めるべきか?
研究によると、約10〜20個の多様なネットワークを超えるとリターンは減少する。10個から始め、集約スコアが実行間で安定するかどうかを監視する。まだ変動する場合は、さらに追加するか、特徴量サブサンプリングによる多様性を増やす。
オートエンコーダ間の多様性をどのように導入するか?
一般的な戦略には、ランダム初期化、入力特徴量のランダムサブセット(特徴量バギング)、異なる潜在次元サイズ、ドロップアウト率、または異なるアーキテクチャ(浅い対深い)が含まれる。特徴量バギングは、表形式データに対して最もシンプルで効果的である。
訓練データに異常が含まれていない必要があるか?
理想的にはそうだが、適度な汚染(約5%未満)は許容できる。異常の割合が高い場合、オートエンコーダはそれらをうまく再構成することを学習し、異常スコアは縮小する。オートエンコーダを訓練する前に、より単純な検出器(アイソレーションフォレスト)で事前フィルタリングすると役立つ。
異常閾値はどのように設定すべきか?
目標偽陽性率(例:1%)がある場合、保持された正常データ上のスコア分布の対応するパーセンタイルに閾値を設定する。ラベルがない場合は、スコアのトップp%を異常として扱い、ドメインエキスパートまたは下流の評価メトリクスで検証する。
単一のオートエンコーダがアンサンブルよりも優れているのはいつか?
計算量が厳しく制限されている場合、データセットが小さい場合、または適切に調整された単一のオートエンコーダがすでにシード間で安定したパフォーマンスを示している場合。アンサンブルは、主に個々のモデルの分散が高い場合や、異常の多様性が予想される場合に価値を追加する。
関連する手法
参考文献
Chen, J., Sathe, S., Aggarwal, C., & Turaga, D. (2017). Outlier Detection with Autoencoder Ensembles. In Proceedings of the 2017 SIAM International Conference on Data Mining (SDM), pp. 90–98. SIAM.
出版物の文献を開くコピーしました。Aggarwal, C. C. (2017). Outlier Analysis (2nd ed., Ch. 3 & 9). Springer.
ISBN:978-3-319-47578-3コピーしました。