サポートベクターマシン(分類)
- 提唱者
- Cortes, C. & Vapnik, V.
- 年
- 1995
- 種類
- Maximum-margin classifier (kernel method)
この文章は機械翻訳で、まだ確認されていません。 英語の原文を読む
何をする手法か?
サポートベクターマシン(SVM)は、1995年にCorinna CortesとVladimir Vapnikによって導入された分類器であり、高次元空間においてクラス間の最適な分離超平面を見つけます。これは、最も近い訓練点からのマージンを可能な限り広く取る境界を選択するため、新しいデータに対する決定が堅牢になります。
手法の背後にある直感
2つの点のグループを直線的な境界で分離することを想像してください。多くの線がそれを実行できますが、SVMは各クラスの最も近い点からできるだけ離れた位置にある線、つまりそれらの間の最も広い「通り」を探します。境界を実際に形成するのは、最も近い点、すなわちサポートベクターのみです。それより遠くにあるものはすべて無関係です。クラスが直線で分割できない場合、カーネルは空間を再形成し、クリーンな分離が可能になります。
歴史学
サポートベクターマシンは、1995年の論文「Support-Vector Networks」でCorinna CortesとVladimir Vapnikによって導入されました。この論文では、最大マージンという考え方とカーネルトリックを組み合わせて、非線形分離不可能なデータを扱いました。これは、その時代の最も影響力のある分類手法の1つとなり、高次元教師あり学習の標準的なベンチマークとなりました。
使うべき場面
特徴空間が高次元であり、予測精度が明示的な係数よりも重要である場合に、約50以上の観測値を持つ表形式データ上の二項分類またはカテゴリ分類に使用します。正規分布したデータを必要としませんが、特徴量は標準化され、カーネルとCはクロスバリデーションで調整される必要があります。非常に小さなサンプルでは、ロジスティック回帰やナイーブベイズのようなより単純な分類器を優先してください。
限界と注意点
- カーネルとCパラメータの選択に敏感であり、クロスバリデーションで調整する必要があります。
- 特徴量の標準化が注意深く必要です。スケールされていない特徴量はマージンを歪めます。
- 小さなサンプルでは不安定になり、信頼できる境界を定義するにはサポートベクターが少なすぎます。
- 直接解釈可能な係数やネイティブのクラス確率推定値を提供しません。
出典に示された条件は、独立した科学的レビューや分析エンジンによる検証の代わりにはなりません。
強み
- 特徴空間が高次元であり、境界の複雑さが示唆するものよりも特徴量が多い場合でも効果的です。
- 最大マージン原理とサポートベクターのみの使用により、堅牢で汎化可能な境界が得られます。
- カーネルにより、新しい特徴量を手動でエンジニアリングすることなく、非線形クラス境界を捉えることができます。
- 仮定が少ない:正規分布したデータを必要としません。
応用
- 表形式データ上の二項分類および多クラス分類。
- 特徴量が単純なモデルの容量を超える高次元分類問題。
- 堅牢で十分に分離された決定境界が、解釈可能な係数よりも重要な予測タスク。
- カーネル関数を通じて対処される非線形クラス境界を持つ問題。
使い方
使い方
SVMは、クラスを最大の маージン(両側で最も近いデータポイントまでの距離が最大)で分離する超平面を探索します。それらの最も近い点、すなわちサポートベクターが境界の位置を決定します。広いマージンは、訓練点に近い境界よりも未知のデータに対してより良く汎化する傾向があります。
クラスが線形分離不可能である場合、カーネル関数(例えば、放射基底関数)は、暗黙的に特徴量をより高次元の空間にマッピングし、そこで分離超平面が存在します。このため、特徴量は最初に標準化(StandardScalerが必要)され、カーネルと正則化パラメータCはクロスバリデーションによって選択される必要があります。
境界は上記の目的関数を最小化することによって見つけられます。これは、重みベクトルを縮小し(マージンを広げ)、誤った側またはマージン内にある各点(スラックξ)に対してペナルティCを支払います。大きなCは訓練データへのタイトな適合を要求し、小さなCはより広い、より滑らかなマージンに対してより多くの違反を許容します。クラスの不均衡がある場合、class_weight='balanced'は少数派クラスが無視されるのを防ぎます。
数式
\min_{w,b}\; \tfrac{1}{2}\lVert w\rVert^2 + C\sum_i \xi_iよくある落とし穴
- 生の、スケールされていない特徴量に対してSVMを適合させること(標準化するのではなく)。
- クロスバリデーション(例:グリッドサーチ)で選択するのではなく、デフォルトのカーネルとCの値を受け入れること。
- class_weight='balanced'を設定するのではなく、クラスの不均衡を無視すること。
- 約50未満の観測値のサンプルにSVMを適用すること。この場合、境界は不安定で過学習しやすいです。
- 混同行列、適合率/再現率/F1、およびROC-AUCなしで精度のみを報告すること。
よくある質問
なぜ特徴量を標準化する必要があるのですか?
SVMは分離超平面までの距離を測定するため、より大きな数値スケールの特徴量がマージンを支配します。各特徴量を標準化(StandardScaler)することで、境界が任意単位ではなく真のクラス構造を反映するように、それらを比較可能なスケールに置きます。
Cパラメータは何を制御しますか?
Cはマージン幅と分類エラーのトレードオフを制御します。大きなCは狭いマージンで訓練データへのタイトな適合を強制し、小さなCはより広い、より滑らかな境界と引き換えにより多くのマージン違反を許容します。適切な値はクロスバリデーションで見つけられます。
カーネルは何のためにありますか?
クラスが直線的な境界で分離できない場合、カーネル(放射基底関数など)はデータを暗黙的に高次元空間にマッピングし、そこで分離超平面が存在し、SVMが非線形境界をモデル化できるようになります。カーネルの選択はクロスバリデーションによって検証されるべきです。
SVMを使用すべきではないのはいつですか?
非常に小さなサンプル(約50未満の観測値)では、安定した境界を定義するにはサポートベクターが少なすぎ、カーネルとCを調整するのに十分なデータがないため、モデルは過学習のリスクがあります。その場合、ロジスティック回帰やナイーブベイズのようなより単純な分類器が好ましいです。
関連する手法
参考文献
Cortes, C. & Vapnik, V. (1995). Support-Vector Networks. Machine Learning, 20, 273–297.
DOI 文献を開くコピーしました。