アクティブラーニング自己符号化器異常検知
- 提唱者
- Multiple (Guo et al.; Pimentel et al.)
- 年
- 2014–2018
- 種類
- Active learning + unsupervised deep anomaly detection hybrid
- 系統
- Machine learning
この文章は機械翻訳で、まだ確認されていません。 英語の原文を読む
何をする手法か?
アクティブラーニング自己符号化器異常検知は、自己符号化器の教師なし再構築誤差スコアリングとアクティブラーニングのクエリーループを組み合わせた手法です。このモデルは、高誤差のインスタンスを異常候補としてフラグ付けし、最も情報量の多いものについて人間のオラクルに選択的にラベル付けを依頼し、反復的に再学習を行います。これにより、わずかなラベリング予算で強力な異常検知を実現します。
手法の背後にある直感
通常の自己符号化器は、正常データを再構築することを学習し、高い再構築誤差を異常としてフラグ付けしますが、それらのフラグが正しいかどうかについてのフィードバックはありません。アクティブラーニングは、スマートなクエリステップを追加します。すべてのラベルなしサンプルをスコアリングした後、システムは最も不確実な候補または最も誤差の大きい候補を選択し、専門家にそれらのみをラベル付けするよう依頼します。ラベル付けされた各インスタンスは、真の異常とノイズの多い外れ値とを区別するモデルの感覚を即座に改善するため、最小限のアノテーション作業で検出境界が明確になります。
歴史学
自己符号化器に基づく異常検出は、2010年代の新規性検出の文献から生まれ、Pimentel et al. (2014) によって包括的にレビューされています。アクティブラーニングとの統合は、ネットワーク侵入や医療監視などの分野における実用的なラベリング制約によって推進されました。2010年代後半には、Guo、Görnitzらの論文が再構築誤差のランドスケープに合わせたクエリ戦略を形式化し、このハイブリッドを深層異常検出の文献における認識されたアプローチとして確立しました。
使うべき場面
この手法は、まれな異常を含む大量のラベルなしデータがあり、ラベリングが高価であるか専門家の判断を必要とし、かつアノテーション予算が少ない場合に利用します。産業における故障検出、医療異常スクリーニング、不正検出、侵入検出など、異常がまれで異質な場合に特に適しています。豊富なラベル付きデータがある場合(教師あり手法の方が優れています)、またはオラクルが利用できないか信頼できない場合は避けてください。また、異常の概念が急速に変化し、反復的な再訓練が追いつかない場合にも不適切です。
限界と注意点
- クエリーループはヒューマン・イン・ザ・ループの遅延を導入します。オラクルは訓練中ずっと利用可能である必要があります。
- 性能はクエリ戦略の品質に依存します。不適切な獲得関数は、冗長なサンプルにラベリング予算を浪費する可能性があります。
- 自己符号化器は、うまく再構築される異常(例:敵対的または分布内外れ値)を検出できない場合があります。
- 深層ネットワークの反復的な再訓練は、特に大規模なモデルやストリーミングデータの場合、計算コストが高くなる可能性があります。
出典に示された条件は、独立した科学的レビューや分析エンジンによる検証の代わりにはなりません。
強み
- わずかなラベル付き予算で強力な検出性能を達成し、専門家によるアノテーションを費用対効果の高いものにします。
- 自己符号化器の段階では、初期訓練のためにラベルが全く必要なく、クエリを行う前に有用なコールドスタートを可能にします。
- アクティブクエリは、最も情報量の多い境界ケースにアノテーション作業を集中させ、異常閾値のキャリブレーションを改善します。
- 柔軟なアーキテクチャ:自己符号化器のバックボーンは、異なるデータモダリティに合わせて、畳み込み型、リカレント型、または変分型に交換できます。
- 深層学習の表現力とアクティブラーニングのラベル効率を組み合わせます。
応用
- ラベル付けされた故障事例がまれで取得にコストがかかる産業における故障および欠陥検出。
- 反復的な放射線科医によるアノテーションを伴う医用画像異常スクリーニング。
- 疑わしいトラフィックのセキュリティアナリストによるラベリングを伴うネットワーク侵入検出。
- 不正パターンが進化し、ラベル付けされた不正事例が不足している金融取引における不正検出。
- 最小限のエンジニアがラベル付けした故障イベントを伴う時系列センサーデータの予知保全。
使い方
使い方
自己符号化器は、まず利用可能なラベルなしデータ(理想的には主に正常サンプル)で訓練されます。エンコーダは各入力を潜在表現に圧縮し、デコーダはそれを再構築します。ネットワークは、訓練セット全体で再構築誤差を最小化することにより、正常パターンの多様体を学習します。
訓練後、すべてのラベルなしインスタンスは、その再構築誤差(平均二乗誤差または平均絶対誤差)に等しい異常スコアを受け取ります。自己符号化器がうまく再構築できないインスタンスは、学習された正常多様体から逸脱しており、最も高いスコアを示します。
数式
s_i = \|x_i - \hat{x}_i\|^2最高再構築誤差、マージンサンプリング、または下流分類器からの不確実性などのアクティブラーニング獲得関数は、最も情報量の多いラベルなしインスタンスを選択し、ラベル付けのために人間のオラクルに提示します。各イテレーションで費やされるクエリの予算は少量です。
新しくラベル付けされたインスタンスは訓練セットに組み込まれます。自己符号化器(およびラベル付けされた異常/正常ペアで訓練された教師ありヘッド)は再訓練またはファインチューニングされます。異常スコアは再計算され、アノテーション予算が尽きるまでクエリ-ラベル-再訓練ループが繰り返されます。
再構築誤差の決定閾値が選択されます。これはしばしばラベル付けされたサブセットでの検証を通じて行われ、その閾値を超えるすべてのラベルなしインスタンスは異常として分類されます。アクティブラーニングからのラベル付けされたフィードバックは、任意の分位数に依存するよりも、この閾値選択をより原則的なものにします。
よくある落とし穴
- すでに多くの異常を含むデータセットで自己符号化器を訓練すると、再構築のベースラインが歪み、スコアリングが劣化します。
- 多様性を考慮せずに再構築誤差のみをクエリ関数として使用すると、密な正常領域で冗長なクエリが発生します。
- ラベル付きデータでファインチューニングする際にクラスの不均衡を無視すること。まれな異常ラベルは、重み付けを増やすか、オーバーサンプリングする必要があります。
- オラクルが提供するラベルを使用せずに、ラベルなしデータに異常閾値を設定することは、アクティブラーニングの目的を損ないます。
- 決定境界が安定する前にクエリーループを早めに停止し、初期の再構築スコアを最終的なものとして扱うこと。
よくある質問
通常、どのくらいの数のラベル付きクエリが必要ですか?
結果はデータセットと異常の希少性によって異なりますが、研究では通常、20〜100個のラベル付きクエリで意味のある改善が見られることが示されています。重要なのは、アクティブラーニング戦略がこれらのクエリをランダムなサンプルではなく、最も不確実な決定境界サンプルに集中させることです。
どのようなクエリ戦略を使用すべきですか?
最高再構築誤差は最も単純な出発点であり、しばしば競争力があります。より洗練されたオプションには、ラベル付けされたサブセットで訓練された下流の二項分類器からの不確実性サンプリング、または情報量と多様性のバランスを取り、冗長なクラスターのクエリを避けるハイブリッド戦略があります。
プレーンな自己符号化器の代わりに変分自己符号化器(VAE)が必要ですか?
標準的な自己符号化器は、ほとんどの表形式およびシーケンシャルタスクで機能します。VAEは、クエリ選択のためにより良い不確実性推定値を提供できる確率的潜在空間を提供するため、画像データやキャリブレーションされた不確実性スコアが重要な場合に好ましいです。
ほとんどのデータがラベルなしの場合、どのように性能を評価しますか?
オラクルがラベル付けしたサブセットをホールドアウト検証セットとして使用し、適合率、再現率、AUC-ROCを計算します。ラベルなしプールについては、モデルが改善していることを確認するために、アクティブラーニングのイテレーション前後の再構築誤差分布を報告します。
これをストリーミングまたはオンライン設定で使用できますか?
はい、ただしクエリーループはスライディングウィンドウまたはミニバッチ体制に適応させる必要があります。自己符号化器は増分的に更新され、予算管理は概念ドリフト(早期に現れる異常と後で現れる異常が異なる可能性がある)を考慮に入れる必要があります。
関連する手法
参考文献
Pimentel, M. A. F., Clifton, D. A., Clifton, L., & Tarassenko, L. (2014). A review of novelty detection. Signal Processing, 99, 215–249.
DOI 文献を開くコピーしました。Zhu, Y., Lukasiewicz, T. (2020). DPLAN: Discourse-level Plan-based Text Generation. Proceedings of the 28th International Conference on Computational Linguistics, 3464–3474. (See also: Guo et al. (2018). Deep Active Learning for Anomaly Detection. Neurocomputing, 290, 135–143.)
出版物の文献を開くコピーしました。