半教師ありワンクラスSVM
- 提唱者
- Extension of Scholkopf et al. (2001); semi-supervised variants studied ca. 2004–2010
- 年
- 2001–2004
- 種類
- Semi-supervised anomaly / novelty detection
- 系統
- Machine learning
この文章は機械翻訳で、まだ確認されていません。 英語の原文を読む
何をする手法か?
半教師ありワンクラスSVMは、少数の既知の正常な例に加えてラベルなしの観測を取り込むことで、従来のワンクラスSVM異常検出器を拡張したものです。ラベルなしデータは、モデルが特徴空間内でよりタイトで情報量の多い決定境界を学習するのに役立ち、完全に教師なしのベースラインと比較して偽陽性を減らし、異常検出率を向上させます。
手法の背後にある直感
標準的なワンクラスSVMは、カーネル変換された特徴空間内のラベル付き正常データ周囲に境界を引き、その外側のすべてを異常としてフラグ付けします。問題は、ラベル付きの例が少ないと、境界が緩くノイズが多くなることです。半教師ありワンクラスSVMは、ラベルなしの例のプール(そのほとんどが正常である可能性が高い)を利用して、その境界をより密な領域に向かって内側に引き寄せます。これは、クラスラベルが確認されていなくても、より多くの例を示すことによって、モデルに「正常」が実際にどこにあるかを教えるようなものです。結果として、ラベル付けコストが低く、よりタイトで信頼性の高い異常境界が得られます。
歴史学
ワンクラスSVMは、2001年にScholkopfらによって高次元分布のサポートを推定する方法として導入され、すぐに新規性および異常検出の標準となりました。2000年代半ばの研究者は、少数のラベル付き正常シードでさえ決定境界を大幅に引き締めることができると認識し、トランスダクティブSVMおよびラベル伝播に関する同時期の研究を活用したいくつかの半教師あり拡張が提案されました。このアプローチは、異常のラベル付けが法外に高価なドメインで活発に研究され続けています。
使うべき場面
異常がまれで、すべてのデータにラベルを付けるにはコストが高すぎるが、少数の確認済みの正常シードが利用可能な場合に、半教師ありワンクラスSVMを選択します。例としては、ネットワーク侵入検出、医療画像品質管理、製造欠陥スクリーニングなどがあります。ラベル付きシードがクリーンで、ラベルなしプールが大きく、正常な動作を代表している場合は、教師なしOC-SVMよりも優れています。ラベル付きシードがノイズが多いか偏っている場合、ラベルなしプール内の異常率が高い場合(約10〜20%以上)、確認済みの異常例が多い場合(教師ありSVMまたはアンサンブル法の方が優れている)、またはレビュー担当者によって解釈可能性と明示的な係数が必要な場合は使用しないでください。
限界と注意点
- ラベル付きシードが小さい、ノイズが多い、または真の正常な動作を代表していない場合、パフォーマンスが急激に低下します。
- ラベルなしプール内の高い汚染率が疑似ラベルのドリフトと境界の破損を引き起こします。
- 二次計画法はスケーラビリティが悪いです。標準的なSVMソルバーは、数万件の観測値を超えると苦戦します。
- 注意深いカーネルとnuハイパーパラメータのチューニングが必要です。デフォルトでは最適な境界が得られることはまれです。
- 反復的な疑似ラベル付けは実装の複雑さを増し、原理的な停止基準が必要です。
出典に示された条件は、独立した科学的レビューや分析エンジンによる検証の代わりにはなりません。
強み
- 高価な完全な注釈なしで境界品質を向上させるために、豊富なラベルなしデータを活用します。
- 標準的なワンクラスSVMのカーネル柔軟性を継承し、非線形な正常データ多様体を捉えます。
- クリーンなラベル付きシードが存在する場合、完全に教師なしのOC-SVMよりも優れたキャリブレーションされた異常スコア。
- 正常データがコンパクトなクラスターを形成する高次元特徴空間でうまく機能します。
- 異常スコアの大きさは、トリアージと優先順位付けのための自然な信頼度ランキングを提供します。
応用
- ラベル付き正常トラフィックとラベルなし運用ログを使用したネットワーク侵入およびサイバー攻撃検出。
- 確認済みの良好なスキャンが利用可能だが異常がまれな医療画像品質管理。
- 正常な動作条件のセンサー読み取り値をラベル付きシードとした産業的障害検出。
- 不正行為の例のみが確認されている場合の金融取引における不正検出。
- 既知のクリーンなドキュメントセットを境界のアンカーとして使用した、テキストまたはドキュメントの異常フィルタリング。
使い方
使い方
訓練データを、確認済みの正常インスタンスの小さなラベル付きセットと、はるかに大きなラベルなしプールに分割します。ラベルなしプールは通常、ターゲットドメインからの手動で検証されていない実際の運用データで構成されます。シードラベルの品質が最終的なパフォーマンスに強く影響します。
カーネル関数(最も一般的にはRBFカーネル)を使用して、すべての観測を高次元の再生核ヒルベルト空間にマッピングします。その空間では、正常データのクラスターは原点から分離可能でコンパクトになり、これがワンクラスSVMの根底にある幾何学的なトリックです。
数式
\phi: \mathcal{X} \rightarrow \mathcal{F}ラベル付き正常例のみを使用して初期のワンクラスSVMを適合させます。これにより、重みベクトルw、しきい値rho、およびslack変数xiによって定義される予備的な超平面が得られ、訓練誤差の割合を制限するnuパラメータによって制御されます。
数式
\min_{w,\xi,\rho} \frac{1}{2}\|w\|^2 + \frac{1}{\nu n}\sum_i \xi_i - \rho初期モデルをラベルなしプールに適用し、ソフトまたはハードの疑似ラベルを割り当てます。正常と分類されたインスタンスは仮に正常セットに追加され、異常とスコアリングされたものは破棄または重み付けを減らすことができます。疑似ラベルの信頼性は、信頼性しきい値または類似性グラフ上のラベル伝播によって向上させることができます。
拡張されたラベル付きセット(元のラベルと受け入れられた疑似ラベル)でワンクラスSVMを再訓練します。疑似ラベル付けと再訓練のループを、指定された反復回数または境界が安定するまで繰り返します。早期停止は、連鎖する疑似ラベルエラーによるドリフトを防ぎます。
推論時に、各新しい観測を同じカーネルを通してマッピングし、決定関数f(x)を評価します。f(x) < 0 のインスタンスは異常としてフラグ付けされ、スコアの大きさは正常境界からの距離を反映し、異常信頼度ランキングとして機能します。
数式
f(x) = \text{sign}(w^\top \phi(x) - \rho)よくある落とし穴
- ラベルなしプールとは異なる分布から抽出されたラベル付きシードを使用すると、体系的な疑似ラベルエラーが発生します。
- 真の異常率を推定せずに汚染パラメータnuを設定すると、過検出または検出不足につながります。
- 信頼性しきい値またはソフト重み付けを適用せずに、疑似ラベルを無条件に信頼すること。
- 保持されたアノテーション付き異常セットでの評価をスキップし、教師なしクラスターメトリックのみに依存すること。
- この手法を、ワンクラス検出ではなく半教師あり分類の問題を解決するトランスダクティブSVM(S3VM)と混同すること。
よくある質問
ラベル付きシードはどのくらいの大きさが必要ですか?
実際には、数ダースの確認済みの正常な例でも有用な境界を初期化できますが、ラベル付きセットは正常な動作の主要なモードをカバーする必要があります。シードが約20〜30の観測値よりも小さい場合、初期境界は信頼性がなく、疑似ラベルエラーが累積します。
ラベルなしプールに異常が大量に含まれている場合はどうなりますか?
高い汚染率(約10〜20%以上の異常)は、反復的な改良が徐々に異常を正常クラスに吸収させ、境界を破損させます。そのような場合は、より低い疑似ラベル受け入れしきい値を使用するか、複数の実行にわたるアンサンブル投票を適用するか、ラベル付きシードのみで完全に教師ありのワンクラスSVMにフォールバックしてください。
カーネルとnuパラメータをどのように選択しますか?
RBFカーネルは標準的なデフォルトです。ラベル付きセットでのクロスバリデーションを使用して、その帯域幅(gamma)とnuを調整します。Nuは、訓練誤差の割合とサポートベクターの割合の上限を制御します。既知であれば、おおよその異常率に設定してください。
トランスダクティブSVM(S3VM)とは異なりますか?
はい。トランスダクティブSVM(S3VM)は、両方のクラスが部分的にラベル付けされている半教師あり二項分類を実行します。半教師ありワンクラスSVMは異常検出に対処します。正常クラスのラベルのみを使用し、ラベルなし観測を第二のクラスとして分類するのではなく、潜在的な正常値として扱います。
この手法を大規模に使用できますか?
標準的なSVMソルバーの複雑さはO(n^2)からO(n^3)です。約50,000件の観測値を超えるデータセットの場合は、近似ソルバー(例:SGDベースのオンライン更新、Nystromまたはランダムフーリエ特徴量によるカーネル近似)を使用するか、Isolation Forestやディープオートエンコーダーベースの異常検出器などのスケーラブルな代替手段に切り替えてください。
関連する手法
参考文献
Munoz, A. & Muruzabal, J. (2004). Self-Organising Maps for Outlier Detection. Neurocomputing, 58–60, 953–956.
出版物の文献を開くコピーしました。Scholkopf, B., Platt, J. C., Shawe-Taylor, J., Smola, A. J., & Williamson, R. C. (2001). Estimating the support of a high-dimensional distribution. Neural Computation, 13(7), 1443–1471.
DOI 文献を開くコピーしました。