アクティブラーニング・ワンクラスSVM
- 提唱者
- Schölkopf et al. (OCSVM); active variant developed in the anomaly-detection literature (2000s–2010s)
- 年
- 2000s
- 種類
- Semi-supervised anomaly/novelty detection with iterative labeling
- 系統
- Machine learning
この文章は機械翻訳で、まだ確認されていません。 英語の原文を読む
何をする手法か?
アクティブラーニング・ワンクラスSVMは、正常データの境界を学習するカーネルベースの新規性検出器であるワンクラスサポートベクターマシンと、専門家によるアノテーションのために最も情報量の多いラベルなしインスタンスを選択するアクティブラーニングループを組み合わせたものです。結果として、最小限のラベリング労力で決定境界を改善する、データ効率の良い異常検出器が得られます。
手法の背後にある直感
標準的なワンクラスSVMは、特徴空間の既知の正常領域の周りにタイトな境界を描きます。問題は、境界の品質がどの例にラベルが付いているかに大きく依存することです。アクティブラーニングは、現在の決定境界の近く、またはちょうど外側にあるインスタンス、つまりモデルが最も不確実な点をオラクルにラベル付けさせることで、この問題を解決します。ランダムではなく戦略的にクエリすることで、モデルははるかに少ないラベル付き例でより多くの情報を含むトレーニングセットを取得し、アノテーションコストを節約しながら正常と異常の間の境界をシャープにします。
歴史学
ワンクラスSVMは、分布のサポートを推定するための原理的なカーネル法として1999年から2001年にSchölkopfらによって導入され、新規性および異常検出の参照アルゴリズムとして急速に普及しました。アクティブラーニングパラダイム(情報量の多いラベルのために体系的にオラクルにクエリする)は、Settles(2009)のサーベイで形式化されました。2000年代と2010年代の研究者は、これら2つのアイデアを統合し、侵入検出、障害診断、およびラベル付き異常が本質的にまれな医学的スクリーニングなどのドメインで、OCSVMに不確実性ベースおよびマージンベースのクエリ戦略を適用しました。
使うべき場面
異常または新規性を検出する必要があるが、ラベル付き例が高価であるか、まれであるか、または最初は利用できない場合に使用します。これは、不正検出、機器障害監視、サイバーセキュリティ侵入検出、および医学的希少疾患スクリーニングで典型的です。この方法は、確認された正常インスタンスの小さなシードとともに、ラベルなしの正常データの合理的な供給が存在し、オラクル(人間の専門家または自動テスター)がクエリされたポイントにラベルを付けることができる場合に適しています。異常率が非常に低く、アクティブクエリでも異常にヒットすることがまれな場合、特徴空間が意味のあるカーネルマッピングなしで非常に高次元である場合、または人間のループなしの完全に自動化されたパイプラインが必要な場合は避けてください。
限界と注意点
- パフォーマンスはカーネルの選択とハイパーパラメータnuに敏感です。不適切なデフォルトは、境界がタイトすぎたり緩すぎたりする可能性があります。
- OCSVMのトレーニングコストはサポートベクトルの数に対してほぼ二次的に増加するため、スケーラビリティには限界があり、大規模データセットでは遅くなります。
- 初期のラベル付きシードが実際の正常領域を代表していない場合、初期のクエリがモデルを誤解させる可能性があります。
- アクティブラーニングはオラクルの利用可能性と信頼性を前提としています。ノイズの多いまたは一貫性のないラベリングは境界を劣化させます。
出典に示された条件は、独立した科学的レビューや分析エンジンによる検証の代わりにはなりません。
強み
- 効果的な異常検出器を構築するために必要な専門家ラベルの数を劇的に削減します。
- カーネルマッピング、特にRBFカーネルを介して高次元データをうまく処理します。
- 初期化時に異常例を必要としません。正常データのみからブートストラップします。
- アクティブクエリ戦略は、空間の決定に関連する最も重要な領域にアノテーションの労力を集中させます。
- OCSVM境界は、ハイパーパラメータnuにより、トレーニングセット内の外れ値に対してロバストです。
応用
- 限られた攻撃ラベルによるネットワーク侵入およびサイバーセキュリティ異常検出。
- まれな障害イベントを伴うセンサーストリームを使用した産業機器の障害監視。
- 確認された不正ケースがまれでラベル付けにコストがかかる金融取引における不正検出。
- 専門家のアノテーション時間が制約となる医学的希少疾患またはまれなイベントのスクリーニング。
- 初期には正常な例のコーパスのみが利用可能な場合の画像またはテキストの新規性検出。
使い方
使い方
最初のワンクラスSVMは、開始時に利用可能な少数のラベル付き正常例のセットでトレーニングされます。カーネル(通常はRBF)と、境界の外側のトレーニングポイントの割合を制御するハイパーパラメータnuは、イテレーションが始まる前に設定されます。
アクティブラーニング戦略は、ラベルなしインスタンスをOCSVM決定境界からの距離でスコアリングします。境界に最も近い点が最も曖昧です。それらはランク付けされ、上位の候補がオラクルのクエリとして選択されます。一般的な戦略には、マージンサンプリングと密度重み付きバリアントが含まれます。
ドメインエキスパート(またはクラウドソーシングプラットフォームのような低コストの代替手段)が、クエリされた各インスタンスに正常または異常のラベルを付けます。このステップがボトルネックであるため、クエリ選択の効率が全体のコストを決定します。
新しくラベル付けされたインスタンスはトレーニングプールに追加され、ワンクラスSVMは再トレーニングされます。異常ラベルが利用可能な場合は、2クラス境界の洗練を通じて組み込むことができます。正常ラベルのみが追加された場合は、境界は確認された正常データにタイトになります。
ループは、予算(最大クエリ数)が枯渇するか、検証セットでのパフォーマンスがプラトーになるか、イテレーション間の境界変化がしきい値を下回るまで繰り返されます。最終的なOCSVMは、本番スコアリングのために展開されます。
よくある落とし穴
- ホールドアウトされた検証セットなしでトレーニングセットでnuを調整すると、過度に楽観的な境界につながります。
- データの密度を考慮せずに純粋にマージンによってクエリを選択すると、モデルがスパースで代表性のない領域のポイントをクエリする可能性があります。
- 初期化中にすべてのラベルなしデータを正常と見なしますが、汚染をチェックしません。
- クエリが少なすぎてループを停止し、安定しているかのように小さな検証セットでパフォーマンスを報告します。
- 正常領域が非凸であるデータに線形カーネルを使用します。カーネルは正常クラスのジオメトリと一致する必要があります。
よくある質問
この方法と標準的なワンクラスSVMの違いは何ですか?
標準的なワンクラスSVMは、利用可能なすべてのラベル付きデータで一度トレーニングされます。アクティブラーニングバリアントは反復します。少数のシードでトレーニングし、最も情報量の多いラベルなしポイントをクエリし、ラベルを収集し、再トレーニングします。これにより、はるかに少ないラベル付き例で境界がより正確になります。
開始するには、いくつのラベル付き例が必要ですか?
少数の確認された正常例(10〜50程度)でも、最初のOCSVMをシードできます。アクティブループはその後、戦略的にラベル付きセットを成長させます。例が少なすぎると、初期の境界が不安定になり、初期のクエリを誤解させるリスクがあります。
どのクエリ戦略を使用すべきですか?
現在のOCSVM決定境界に最も近いインスタンスをクエリするマージンサンプリングは、最も一般的な選択肢です。入力空間の密な領域のポイントも好む密度重み付きバリアントは、データにクラスター構造がある場合、純粋なマージンサンプリングよりも優れたパフォーマンスを発揮する傾向があります。
異常ラベルがまれな場合にパフォーマンスをどのように評価しますか?
確認された異常を含むホールドアウトされた検証セットで、ROC曲線下面積(AUC-ROC)または精度-リコール曲線下面積(AUC-PR)を使用します。異常がまれな場合、精度は誤解を招きます。異常ラベルがまったく存在しない場合は、低次元投影での境界を目視検査します。
いつ別の異常検出器に切り替えるべきですか?
データセットに数千インスタンスを超える場合、Isolation ForestまたはAutoencoderベースの検出器の方がスケーラビリティが高くなります。教師ありトレーニングに十分なラベル付き異常がある場合、標準的なバイナリSVMまたは勾配ブースト分類器は、一般的にOCSVMよりも優れたパフォーマンスを発揮します。
関連する手法
参考文献
Schölkopf, B., Platt, J. C., Shawe-Taylor, J., Smola, A. J., & Williamson, R. C. (1999). Estimating the Support of a High-Dimensional Distribution. Neural Computation, 13(7), 1443–1471.
DOI 文献を開くコピーしました。Settles, B. (2009). Active Learning Literature Survey. Computer Sciences Technical Report 1648, University of Wisconsin–Madison.
出版物の文献を開くコピーしました。