半教師ありオートエンコーダ異常検知
- 提唱者
- Ruff, L. et al.; Zong, B. et al.
- 年
- 2018–2020
- 種類
- Semi-supervised deep anomaly detection
- 系統
- Machine learning
この文章は機械翻訳で、まだ確認されていません。 英語の原文を読む
何をする手法か?
半教師ありオートエンコーダ異常検知は、主に正常な(ラベルなしの)データでニューラルオートエンコーダを訓練し、その後、少数のラベル付き異常データを使用して決定境界を洗練させ、高い再構築誤差を持つサンプルを異常として検出します。これは、ラベルが不足しているものの、既知の異常がいくつか存在する場合に、純粋な教師なしオートエンコーダと完全に教師ありの分類器との間のギャップを埋めます。
手法の背後にある直感
標準的なオートエンコーダは、正常データをうまく圧縮・再構築することを学習します。これまで見たことのない異常データは再構築がうまくいかないため、再構築誤差がそれらを異常として示します。純粋な教師なしオートエンコーダは、何が異常と見なされるかについての基準を持たず、何が正常であるかのみを知っています。半教師ありのバリアントは、少数のラベル付き異常データをファインチューニング中の負例として使用し、完全な教師あり学習を必要とせずに、モデルの決定境界を実際の異常に近づけます。その結果、データ効率が高く、どちらか一方の極端な手法よりも適切に調整された検出器が得られます。
歴史学
教師なしオートエンコーダ異常検知は、2014年頃のディープラーニングの台頭後に注目を集めました。Zong et al. (ICLR 2018) は、教師なし異常スコアリングのためにオートエンコーダとガウス混合モデルを統合しました。Ruff et al. (ICLR 2020) は半教師ありバリアントを形式化し、ごく少数のラベル付き異常データでも純粋な教師なしベースラインと比較して検出性能が大幅に向上することを示し、今日広く使用されているフレームワークを確立しました。
使うべき場面
主に正常な大量のラベルなしデータと、少数ではあるが信頼できる確認済み異常データのセットがあり、既製の教師なし異常検出器が偽陽性を多く生成する場合に推奨されます。特に、センサー信号、ネットワークトラフィック、画像などの高次元または非線形データで、従来のメソッド(例:one-class SVM)がうまく機能しない場合に効果的です。ラベル付き異常が全く利用できない場合(教師なしオートエンコーダを推奨)や、完全な教師あり分類器に十分なラベルがある場合には使用しないでください。ディープネットワークが汎化できないような非常に小さなデータセット(数百サンプル未満)では避けてください。
限界と注意点
- 慎重な分割が必要です。ラベルなしプールに多くの異常が含まれている場合、事前学習が損なわれ、パフォーマンスが著しく低下します。
- ディープオートエンコーダは、浅い手法と比較して、訓練とチューニングに計算コストがかかります。
- 解釈可能性は限られています。再構築誤差信号は、どの特徴が異常を引き起こしたかを説明しません。
- アーキテクチャの深さ、潜在次元、教師なしおよび教師あり目的間の損失重みの選択に敏感です。
- 閾値の選択は自明ではなく、恣意的なカットオフを避けるために、ホールドアウトされたラベル付きデータで検証する必要があります。
出典に示された条件は、独立した科学的レビューや分析エンジンによる検証の代わりにはなりません。
強み
- 大量のラベルなし正常データと希少なラベル付き異常データを効果的に活用し、データ効率を最大化します。
- one-class SVMのようなカーネルベースの手法よりも、高次元および非線形の特徴空間をはるかによく処理します。
- 異常スコア(再構築誤差)は連続的であり、運用要件に合わせてきめ細かな閾値調整が可能です。
- 正常データでの事前学習は強力な事前情報を提供し、完全な教師ありアプローチと比較して必要なラベル付き異常データの数を減らします。
- アーキテクチャは柔軟で、画像、時系列、またはテキスト用に畳み込み層、リカレント層、またはトランスフォーマー層を組み込むことができます。
応用
- 故障イベントがまれであるが文書化されている、センサーまたはテレメトリーストリーム上の産業用故障および欠陥検出。
- 既知の攻撃シグネチャをラベル付きシードとして使用するネットワーク侵入およびサイバーセキュリティ異常検出。
- 確認された病理学的症例が少ない医療画像または臨床データスクリーニング。
- 豊富な正常トランザクションと少数の確認済み不正トランザクションを組み合わせた金融詐欺検出。
- 履歴的な故障記録がラベル付き異常例として機能する予知保全パイプライン。
使い方
使い方
訓練データセットは、大量のラベルなしデータ(ほとんどが正常と仮定される)と、少数の厳選されたラベル付き異常データに分割されます。この分割は、確認済みの異常ラベルが現実世界で不足していることを反映しつつ、利用可能なあらゆる真の信号を活用します。
エンコーダ・デコーダネットワークは、再構築損失を最小化するためにラベルなしデータプールで事前学習され、正常パターンのコンパクトな潜在表現を学習します。このフェーズでは、ラベルを必要とせずに、正常がどのようなものかという基本的な概念を構築します。
第2フェーズでは、ラベル付き異常データが組み込まれます。これは、分類ヘッドを追加するか、対照損失やハイパースフィア損失(Deep SVDDの拡張のように)を使用するか、既知の異常に対する低い再構築誤差にペナルティを課すことによって行われます。これにより、決定境界が確認済みの異常点から遠ざけられます。
推論時、各サンプルは訓練済みオートエンコーダを通過します。異常スコアは通常、再構築誤差(入力と出力の間の平均二乗誤差)です。オプションで、正常クラスの重心からの潜在空間距離も使用されます。
数式
s(x) = \|x - \hat{x}\|^2異常スコアの閾値は、ラベル付き異常データ、適合率-再現率曲線、または目標とする偽陽性率を使用して選択され、二値の正常/異常ラベルを生成します。閾値の選択は、適合率-再現率のトレードオフを直接左右します。
よくある落とし穴
- ラベルなしの事前学習プールに未検出の異常が混入し、正常データの表現を損なうこと。
- ラベル付きの例に対する適切な閾値キャリブレーションなしに、再構築誤差をキャリブレーションされた確率として扱うこと。
- 交差検定なしに単一の訓練/テスト分割を使用し、まれな異常クラスに対して過度に楽観的な性能推定値を生み出すこと。
- 実験なしに潜在次元を選択すること。小さすぎると情報が失われ、大きすぎるとオートエンコーダが正常データと同様に異常データも再構築してしまう。
- 評価指標を計算する際にクラスの不均衡を無視すること。極端な不均衡では精度は無意味であり、代わりにAUROCと平均適合率を使用すること。
よくある質問
必要なラベル付き異常データの数はどれくらいですか?
この手法は、わずか数十個の確認済み異常データでも機能しますが、数百個まで増やすと性能が大幅に向上します。重要なのは、ラベル付き異常データがドメイン内に存在する異常な振る舞いの主要なタイプをカバーしていることです。
ラベルなしプールに隠れた異常が含まれている場合はどうなりますか?
ラベルなしデータの汚染が最大の失敗モードです。ファインチューニングの前に、事前学習プールから明らかな外れ値を削除するために、予備的な教師なしフィルター(例:Isolation Forest)を適用してください。
再構築誤差の閾値はどのように選択すればよいですか?
ラベル付き異常データセットと適合率-再現率曲線を使用して、偽陽性と偽陰性に対する運用上の許容範囲に合致する閾値を選択してください。モデルの訓練に使用したのと同じデータで閾値を選択してはいけません。
これはone-class SVMやIsolation Forestよりも優れていますか?
少なくともいくつかのラベル付き異常データがある高次元または非線形データでは、半教師ありオートエンコーダは通常、one-class SVMやIsolation Forestを上回ります。非常に小さなサンプルを持つ低次元の表形式データでは、より単純な手法がより低いコストで同等またはそれ以上の性能を発揮することがあります。
どのような評価指標を報告すべきですか?
真の異常発生率を保持するホールドアウトテストセットで、AUROCと平均適合率(適合率-再現率曲線の下の面積)を報告してください。固定閾値での精度とF1スコアは二次的な指標とし、閾値の正当性を提供する必要があります。
関連する手法
参考文献
Ruff, L., Vandermeulen, R. A., Franks, B. J., Müller, K.-R., & Kloft, M. (2020). Deep Semi-Supervised Anomaly Detection. In International Conference on Learning Representations (ICLR 2020).
出版物の文献を開くコピーしました。Zong, B., Song, Q., Min, M. R., Cheng, W., Lumezanu, C., Cho, D., & Chen, H. (2018). Deep Autoencoding Gaussian Mixture Model for Unsupervised Anomaly Detection. In International Conference on Learning Representations (ICLR 2018).
出版物の文献を開くコピーしました。