One-Class SVM
- 提唱者
- Scholkopf, B., Platt, J. C., Smola, A. J., Williamson, R. C.
- 年
- 1999–2001
- 種類
- Anomaly / novelty detection (unsupervised)
- 系統
- Machine learning
この文章は機械翻訳で、まだ確認されていません。 英語の原文を読む
何をする手法か?
One-class SVM は、カーネルによって誘導される特徴空間において、正常な訓練データの周囲にタイトな境界を学習し、その境界の外側にある新しい観測値を外れ値としてフラグ付けする、教師なしの異常および新規性検出アルゴリズムです。Scholkopfらによって1999年から2001年にかけて導入されたこの手法は、ラベル付けされた異常が利用できない単一クラスの設定にSVMフレームワークを拡張したものです。
手法の背後にある直感
カーネル関数によって定義される変換空間で、訓練点を囲むように風船を膨らませることを想像してください。風船がフィットしたら、その外側に着地した新しい点はすべて異常と宣言されます。パラメータ nu は風船のタイトさを制御します。小さい nu は、マージン内に非常に少ない訓練点しか許容せず(厳密な境界)、大きい nu は、より多くの点を外側に許容します(緩い境界)。カーネルトリックにより、境界は元の入力空間では非線形になり得るため、One-class SVM は、単純な閾値や距離規則では見逃してしまうような、正常性の複雑な形状を捉えることができます。
歴史学
One-class SVMは、Scholkopf、Platt、Smola、Williamsonによって1999年の技術レポートで導入され、2001年にNeural Computation誌に「Estimating the support of a high-dimensional distribution.」として発表されました。密接に関連する定式化であるSupport Vector Data Description(SVDD)は、TaxとDuin(2004年)によって同時に開発されました。どちらの手法も、教師ありSVMフレームワークを教師なし異常検出設定に拡張し、新規性検出の文献における基本的な参照となりました。Scikit-learnのOneClassSVM実装により、この手法は応用研究で広く利用可能になりました。
使うべき場面
ラベル付けされた異常例が入手できない、または非常に少ない場合に、正常な振る舞いの周りに非線形境界を求めたい場合に One-class SVM を使用します。これは、不正検出、侵入検出、産業故障監視、および連続数値特徴を持つ医療新規性スクリーニングで一般的です。中程度のサイズのデータセット(数百から数万サンプル)や、線形または距離ベースの検出器が失敗するような、高次元または複雑な形状の正常性分布に対して最も効果的です。訓練セットが非常に大きい場合(n > 約100,000)、二次計画法の解法がスケールが悪いため、またはデータが高度にカテゴリカルな場合、または高速で解釈可能なルールが必要な場合は、これを避けてください。そのような場合は、Isolation Forest、Local Outlier Factor、または閾値ベースの統計モデルを優先してください。
限界と注意点
- 二次計画法のソルバーは、訓練サンプルに対して O(n^2) から O(n^3) のスケールになるため、非常に大きなデータセットには実用的ではありません。
- カーネルとそのハイパーパラメータ(例:RBFのgamma)の選択に敏感です。不適切な選択は、境界がタイトすぎるか、緩すぎるかのいずれかになります。
- クリーンな正常訓練データが必要です — 汚染された訓練セットは境界をシフトさせ、偽陰性率を増加させます。
- キャリブレーションされた確率推定値を自然に生成しません。決定スコアは確率ではありません。
- 解釈可能性は限定的です。追加の後処理ツールなしでは、特定の点がフラグ付けされた理由を説明するのは困難です。
出典に示された条件は、独立した科学的レビューや分析エンジンによる検証の代わりにはなりません。
強み
- ラベル付けされた異常例なしで動作します — 正常な訓練データのみが必要です。
- 非線形カーネル(通常はRBF)は、距離ベースの手法では見逃してしまうような、正常性の複雑で曲がった境界を捉えます。
- nu パラメータは、予想される外れ値の割合に対して、直接的で解釈可能な制御を提供します。
- カーネルトリックにより、高次元の特徴空間に柔軟に対応できます。
- 連続的な決定スコアにより、柔軟な後続の閾値キャリブレーションが可能になります。
- 侵入検出、故障監視、医療画像処理などの重要なドメインで実績があります。
応用
- ネットワーク侵入検出:通常の操作中に見られなかったトラフィックパターンをフラグ付けする。
- 産業故障監視:正常状態プロファイルから逸脱した機械センサーの読み取り値を検出する。
- 不正検出:教師あり分類器を訓練するには不正例がまれすぎる場合に、異常なトランザクションパターンを特定する。
- 医療新規性検出:健常被験者の分布外の画像またはバイオマーカーの読み取り値をフラグ付けする。
- 自然言語処理:テキスト埋め込みを入力特徴量として使用した、ドメイン外のドキュメントまたはクエリ検出。
使い方
使い方
すべての訓練観測値は、放射基底関数(RBF)などのカーネル関数を介して、高次元(潜在的には無限次元)の特徴空間にマッピングされます。その空間での内積は、マッピングを明示的に計算することなく評価できるため、複雑な境界に対してもこのアプローチは実行可能になります。
数式
\phi: \mathcal{X} \to \mathcal{F}二次計画法により、特徴空間において、マッピングされた訓練データを原点から最大のマージンで分離する超平面を見つけます。パラメータ nu(0から1の間)は、外れ値として扱われる訓練点の割合とサポートベクトルの割合を同時に制限し、実践者はモデルのタイトさと訓練データの汚染耐性とのトレードオフを直接制御できます。
数式
\min_{w,\rho,\xi}\; \tfrac{1}{2}\|w\|^2 - \rho + \tfrac{1}{\nu n}\sum_i \xi_i学習された超平面は、符号付き決定関数を定義します。正の側にある点は正常と分類され、負の側(閾値 rho 以下)にある点は異常または新規性としてフラグ付けされます。生のスコアは、ランキングのための連続的な異常スコアとしても利用できます。
数式
f(x) = \text{sgn}\bigl(\langle w, \phi(x)\rangle - \rho\bigr)nu の選択が主要なモデリング決定事項です。訓練セットにおける予想される汚染の割合に近い値を設定することが、実用的な経験則です。ラベルなしデータのみでのグリッドサーチに頼るのではなく、保持された正常な検証セットでのクロスバリデーションや、予想される外れ値率に関するドメイン知識が選択を導くべきです。
デプロイメントでは、決定関数の出力に異常スコアの閾値が適用されます。閾値は、後から調整して、異常に対する適合率と再現率のトレードオフを行うことができ、誤検出コストと見逃しコストが大きく異なるアプリケーションに適しています。
よくある落とし穴
- 検出されていない異常の有意な割合を含むデータでの訓練は、学習された境界を破損させます。
- 予想される汚染率を参照せずに nu を設定すると、過剰な偽陽性または見逃し異常につながります。
- デフォルトのRBF gammaをチューニングせずに使用すると、境界がタイトすぎる(すべての新しい点が異常)または緩すぎる(異常が検出されない)可能性があります。
- スケーラビリティの代替手段(SGDベースの近似など、sklearnのSGDOneClassSVM)を考慮せずに、非常に大きなデータセットにOne-class SVMを適用すること。
- 閾値をキャリブレーションするために、連続スコア分布を調べずに、二値の異常フラグのみを報告すること。
よくある質問
異常検出におけるOne-class SVMとIsolation Forestの違いは何ですか?
One-class SVMは、正常データの周りにカーネルベースの境界を学習し、高次元で複雑な形状の分布でうまく機能しますが、データセットサイズに対するスケーラビリティが悪いです。Isolation Forestはランダムなパーティショニングを使用し、大規模データセットではるかに高速ですが、微妙な非線形異常パターンに対する感度は一般的に低いです。
nuパラメータはどのように選択すべきですか?
訓練観測値のうち、汚染されている、または非典型的であると予想される割合をnuに設定します。訓練サンプルが5%未満の外れ値であると信じる場合は、nu=0.05から始めてください。境界のタイトさを評価するために、グリッドサーチのみに頼るのではなく、既知の正常な例の保持セットを使用してください。
どのカーネルを使用すべきですか?
RBF(ガウス)カーネルは標準的な出発点であり、ほとんどの連続数値データセットでうまく機能します。RBFカーネルのgammaハイパーパラメータは影響半径を制御します。対数スケールグリッドでクロスバリデーションを行ってください。線形カーネルは高速ですが、境界を超平面に制限します。
One-class SVMはカテゴリカル特徴量を扱えますか?
直接は扱えません。カテゴリカル変数は、使用前に数値的にエンコード(例:バイナリまたは順序エンコーディング)する必要があります。これにより、距離メトリックの歪みが生じる可能性があります。カテゴリカル特徴量が支配的なデータセットの場合は、代わりにIsolation Forestのようなツリーベースの検出器を検討してください。
私の訓練セットにはいくつかの異常が含まれている可能性があります。それはモデルを壊しますか?
汚染された訓練データは境界を外側にシフトさせ、異常なパターンを正常として学習させる可能性があります。One-class SVMは、Isolation Forestよりもこれに敏感です。汚染が疑われる場合は、より高いnuを持つSVDDを使用するか、高速検出器による予備的なパスで訓練セットをクリーニングすることを検討してください。
関連する手法
参考文献
Scholkopf, B., Platt, J. C., Shawe-Taylor, J., Smola, A. J., & Williamson, R. C. (2001). Estimating the support of a high-dimensional distribution. Neural Computation, 13(7), 1443–1471.
DOI 文献を開くコピーしました。Tax, D. M. J., & Duin, R. P. W. (2004). Support vector data description. Machine Learning, 54(1), 45–66.
DOI 文献を開くコピーしました。