リッジ回帰
- 提唱者
- Hoerl, A.E. & Kennard, R.W.
- 年
- 1970
- 種類
- L2-regularized linear regression
この文章は機械翻訳で、まだ確認されていません。 英語の原文を読む
何をする手法か?
リッジ回帰は、1970年にArthur HoerlとRobert Kennardによって導入されたL2正則化線形回帰手法であり、係数の大きさにペナルティを加えることで多重共線性を低減します。これは、係数をゼロに近づけますが、それらを正確にゼロに設定することなく、予測変数が高度に相関している場合により安定した推定値を生成します。
手法の背後にある直感
予測変数が強く相関している場合、通常の最小二乗法の係数は不安定になり、サンプルごとに大きく変動する可能性があります。リッジ回帰は、はるかに低い分散と引き換えに、意図的に少量のバイアスを受け入れます。係数の二乗の大きさにペナルティを加えることで、これらの大きな変動を抑制し、すべての変数をモデルに保持しますが、より小さく安定した重みになります。
歴史学
リッジ回帰は、1970年にArthur E. HoerlとRobert W. Kennardによって、通常の最小二乗法が破綻する非直交(共線性の)問題に対して、バイアスがあるがより安定した推定値を得る方法として導入されました。L2ペナルティを追加するというアイデアは、正則化回帰の基礎的なツールとなり、その縮小挙動を明示的な変数選択と組み合わせたり対比させたりするLASSOやElastic Netなどの後の手法の直接的な前身となりました。
使うべき場面
多重共線性がある場合(例えば、分散拡大係数が10を超える場合)で、変数を選択するのではなく、すべての変数を保持したい場合に、連続、二値、またはカウント予測変数を用いた予測にリッジ回帰を使用します。これは、おおよそ線形関係と少なくとも約30の観測値を仮定します。特徴量は最初に標準化する必要があります。サンプルが小さく、共線性が軽度な場合は、単純な線形回帰の方が解釈しやすいです。変数選択が目標の場合は、LASSOまたはElastic Netが好ましいです。
限界と注意点
- 変数選択を行いません。LASSOのように無関係な予測変数をゼロにすることはできません。
- 特徴量の標準化が必要です。そうしないと、ペナルティが大規模な変数を不公平に優遇します。
- 予測変数と結果の間に線形関係を仮定します。
- 小規模なサンプル(約30未満のn)では、交差検定によるalphaの調整は信頼性が低く、単純なOLSで十分な場合があります。
- 共線性が実際には問題ではない場合、縮小は不要であり、解釈可能性を低下させます。
出典に示された条件は、独立した科学的レビューや分析エンジンによる検証の代わりにはなりません。
強み
- L2ペナルティを追加することで、多重共線性を低減し、係数推定値を安定させます。
- すべての予測変数をモデルに保持します。係数は縮小されますが、どれもゼロにはなりません。
- わずかで制御されたバイアスの増加と引き換えに分散を低減し、多くの場合予測を改善します。
- 交差検定によって選択される、単一で調整しやすいハイパーパラメータ(alpha)を持ちます。
- 正規分布したデータを必要とせず、連続、二値、カウント予測変数で機能します。
応用
- 多重共線性がOLSの分散を膨張させる、多くの相関する予測変数による予測。
- 分散拡大係数(VIF)が高い場合(VIFが10を超える場合)に回帰係数を安定させること。
- 選択によって除外するのではなく、すべての予測変数を保持すべき場合のモデリング。
- LASSOまたはElastic Netと比較する前の正則化されたベースライン。
使い方
使い方
通常の最小二乗法は、二乗誤差のみを最小化することで係数を適合させます。2つ以上の予測変数がほぼ冗長である場合(多重共線性)、これにより係数が不十分に決定され、ノイズに非常に敏感になります。リッジ回帰は、大きな係数を抑制することでこれに対処し、わずかなバイアスと引き換えに、はるかに大きな安定性を実現します。
リッジ回帰は、通常の二乗誤差の合計に、チューニング定数alphaと係数の二乗の合計に等しいペナルティを加えたものを最小化します。このL2ペナルティは、すべての係数をその大きさに比例してゼロに近づけますが、LASSOとは異なり、どの係数も正確にゼロにすることはないため、すべての予測変数が保持されます。ペナルティが各予測変数を公平に扱うように、事前に特徴量を標準化する必要があります。
数式
\hat{\beta}^{\text{ridge}} = \arg\min_{\beta} \; \|y - X\beta\|^2 + \alpha \|\beta\|^2ペナルティの強さはalphaによって制御されます。値が大きいほど、係数はより縮小されます。適切な値は交差検定によって選択され、通常はalphaの範囲をスキャンし、交差検定された平均二乗誤差を最小化する値が選択されます。
よくある落とし穴
- 生データ、非標準化された特徴量でリッジ回帰を適合させ、ペナルティが係数を歪めること。
- 交差検定で選択する代わりに、手動でalphaを選択すること。
- 実際の多重共線性が存在しない場合にリッジ回帰を適用し、何の利益もなく係数を縮小すること。
- 変数選択を期待すること。リッジ回帰はすべての変数を保持するため、スパース性が必要な場合はLASSOまたはElastic Netを使用してください。
- 適合後に残差診断(正規性、等分散性)をスキップすること。
よくある質問
リッジ回帰はLASSOとどう違うのですか?
どちらも係数を縮小するためにペナルティを追加しますが、リッジ回帰は係数をゼロに近づけるが、決してゼロに到達させないL2ペナルティを使用するため、すべての予測変数がモデルに残ります。LASSOは係数を正確にゼロに設定できるL1ペナルティを使用し、変数選択を実行します。相関する予測変数を安定させるにはリッジ回帰を、スパースなモデルが必要な場合はLASSOを選択してください。
特徴量を標準化する必要がありますか?
はい。L2ペナルティは係数の大きさに作用するため、特徴量の標準化が必要です。標準化しないと、ペナルティがより大きなスケールで測定された変数を不公平に縮小してしまいます。
ペナルティの強さalphaはどのように選択しますか?
alphaは交差検定によって選択します。値の範囲をスキャンし、交差検定された平均二乗誤差を最小化する値を選択します。CV MSE曲線とalphaをプロットすると、最適値がどこにあるかがわかります。
リッジ回帰を使用すべきでないのはいつですか?
実際の多重共線性が存在しない場合、リッジ回帰は不要な縮小を追加し、単純な線形回帰の方が解釈しやすいです。非常に小さなサンプル(約30未満のn)では、alphaの調整は信頼性が低く、無関係な変数を削除する必要がある場合は、代わりにLASSOまたはElastic Netを使用すべきです。
関連する手法
参考文献
Hoerl, A.E. & Kennard, R.W. (1970). Ridge Regression: Biased Estimation for Nonorthogonal Problems. Technometrics, 12(1), 55–67.
DOI 文献を開くコピーしました。