Skip to content
検索結果に戻る

サポートベクター回帰

提唱者
Smola, A.J. & Schölkopf, B.
年
2004
種類
Kernel-based supervised model (epsilon-insensitive regression)

この文章は機械翻訳で、まだ確認されていません。 英語の原文を読む

文字サイズ

何をする手法か?

SmolaとSchölkopfによる2004年のチュートリアルで説明されているサポートベクター回帰(SVR)は、可能な限り少ない誤差で、データ周囲のε幅のチューブ内に収まる関数を適合させることで、連続的な結果を予測します。これは、カーネルを使用して非線形関係を捉えることで、サポートベクターマシン(SVM)のアイデアを分類から回帰に拡張したものです。

手法の背後にある直感

適合線からのすべての偏差を罰する代わりに、SVRはε未満の誤差を無視します。予測関数周囲に幅εのチューブを引き、チューブの外側にある点のみがペナルティの対象となります。モデルは、ほとんどの点をチューブ内に保つ、可能な限り平坦な関数を求めます。チューブの端にあるか、またはチューブの外側にある少数の点が、予測を定義するサポートベクターとなります。

歴史学

サポートベクター回帰は、元々分類手法であったサポートベクターマシンを回帰タスクに拡張したものです。ε非感受性定式化とそのカーネル化された解は、統計とコンピューティングにおけるSmolaとSchölkopfの2004年のチュートリアルに記載されており、この手法の標準的な参考文献となっています。

使うべき場面

関係が非線形である可能性があり、少なくとも約50の観測値がある場合に、特徴量から連続的(またはカウント)な結果を予測するためにSVRを使用します。特徴量は正規化する必要があり、カーネルとCパラメータの調整が必要です。50未満のケースでは、予測が少なすぎるサポートベクターに依存し不安定になるため、リッジ回帰または線形回帰が好ましいです。

限界と注意点

  • 少なくとも約50の観測値が必要です。それ未満の場合、予測は少なすぎるサポートベクターに依存し不安定になり、ハイパーパラメータ最適化のための十分なデータがありません。
  • パフォーマンスは、カーネルとCパラメータの調整にかかっており、十分なクロスバリデーションデータが必要です。
  • カーネル距離が歪むため、特徴量は事前に正規化する必要があります。
  • 解釈可能な係数を提供しません。

出典に示された条件は、独立した科学的レビューや分析エンジンによる検証の代わりにはなりません。

強み

  • ε非感受性損失は、チューブ内の小さな偏差や外れ値に対して適合をロバストにします。
  • カーネルは、SVRが明示的に新しい特徴量をエンジニアリングすることなく非線形関係をモデル化することを可能にします。
  • 正規分布したデータを必要としません。
  • 最終モデルはサポートベクターのみに依存するため、予測がコンパクトになります。

応用

  • 特徴量との関係が非線形である連続的な結果の予測。
  • 小さな偏差に対するロバスト性が重要な、予測および予報タスク。
  • 健康、社会、工学、ビジネスのデータにおけるカウントまたは連続ターゲットのモデリング。
  • 非線形性が疑われる場合に、線形回帰またはリッジ回帰のカーネルベースの代替として機能する。

使い方

使い方

1

SVRは、回帰関数の周りにεチューブと呼ばれる許容誤差のマージンを定義します。ε内の偏差は全く誤差がないものとして扱われます。これにより、適合は小さな変動に対して鈍感になり、モデルは実際にバンドの外側にある観測値に焦点を当てます。

数式
|y_i - f(x_i)| \le \varepsilon
2

モデルは、関数の平坦性とチューブ外の点によって生じる誤差のバランスを取ります。正則化パラメータCは、チューブ外の偏差がどれだけ重く罰せられるかを制御し、カーネル(RBFカーネルなど)は、非線形構造を捉えるために関数を曲げることを可能にします。Cとカーネルの両方を調整する必要があるため、適合前に特徴量を正規化する必要があります。

数式
\min \tfrac{1}{2}\lVert w\rVert^2 + C\sum_i (\xi_i + \xi_i^*)
3

新しい入力に対する予測は、サポートベクター(チューブの端にあるか、またはそれを超える訓練点)のカーネル重み付き組み合わせとオフセットとして形成されます。これらのサポートベクターのみが最終的な予測に含まれ、これが適合モデルをコンパクトにする理由です。

数式
f(x) = \sum_i (\alpha_i - \alpha_i^*) k(x_i, x) + b

よくある落とし穴

  • カーネル距離を歪ませる、正規化されていない特徴量でSVRを適合させること。
  • クロスバリデーションで調整せずに、デフォルトのカーネルとCの値を受け入れること。
  • ハイパーパラメータ最適化のための十分なデータがない小さなサンプルでSVRを使用すること。
  • カーネルベースの適合が解釈可能な効果量をもたらしたかのように扱うこと。

よくある質問

εパラメータは何を制御しますか?

εは、適合関数周囲の許容誤差チューブの半分の幅を設定します。ε未満の偏差はゼロ誤差として扱われるため、εが大きいほど、サポートベクターが少なく、より平坦で単純なモデルが得られ、εが小さいほどデータに密接に適合します。

なぜ特徴量を正規化する必要があるのですか?

SVRはカーネルを介して計算される距離に依存します。特徴量が非常に異なるスケールにある場合、範囲の大きい特徴量が距離を支配するため、適合前に特徴量を標準化する必要があります。

どのくらい小さいサンプルが小さすぎますか?

約50未満の観測値では、適合は少なすぎるサポートベクターに依存し不安定になり、カーネルハイパーパラメータを調整するための十分なデータがありません。リッジ回帰または線形回帰の方が安全な選択肢です。

SVRは通常の最小二乗法とどのように異なりますか?

最小二乗法はすべての残差を二次的に罰しますが、SVRはεチューブ内の残差を無視し、チューブ外の残差のみを罰します。カーネルと組み合わせることで、SVRは非線形関係を捉え、小さな偏差に対してロバスト性を維持できます。

関連する手法

参考文献

  1. Smola, A.J. & Schölkopf, B. (2004). A Tutorial on Support Vector Regression. Statistics and Computing, 14, 199–222.

    DOI 文献を開く
    コピーしました。