正則化線形回帰
- 提唱者
- Hoerl & Kennard (Ridge, 1970); Tibshirani (Lasso, 1996); Zou & Hastie (Elastic Net, 2005)
- 年
- 1970–2005
- 種類
- Penalized linear model
- 系統
- Machine learning
この文章は機械翻訳で、まだ確認されていません。 英語の原文を読む
何をする手法か?
正則化線形回帰は、最小二乗法の目的関数にペナルティ項を追加し、係数を縮小またはゼロにすることで、過学習を抑制し、多重共線性を処理します。主な3つのバリアントであるRidge(L2ペナルティ)、Lasso(L1ペナルティ)、Elastic Net(L1+L2の組み合わせ)は、特徴量が観測数を上回る場合や予測変数が高度に相関している場合でも、線形回帰を使用可能にします。
手法の背後にある直感
最小二乗法は、各予測変数に訓練誤差を最小化する係数を正確に割り当てますが、予測変数が相関している場合やデータセットに多数の特徴量がある場合、係数が非常に大きく不安定になる可能性があります。正則化は、これらの係数をゼロに近づけます。これにより、モデルは訓練精度をわずかに犠牲にする代わりに、汎化性能を大幅に向上させます。Ridgeはすべての係数を比例的に縮小し、Lassoはさらに進んで一部の係数を正確にゼロに設定して特徴量選択を効果的に行います。Elastic Netは両方の戦略を組み合わせ、相関する予測変数をまとめて保持する必要がある場合に機能します。
歴史学
Ridge回帰は、HoerlとKennardによって1970年に最小二乗法の多重共線性の解決策として導入されました。Tibshiraniによる1996年のLasso論文は、L1正則化と係数を正確にゼロに縮小する能力を追加し、自動特徴量選択を可能にしました。ZouとHastieは2005年にElastic Netでこれらのアイデアを拡張し、L1とL2のペナルティを組み合わせて相関する予測変数のグループを処理できるようにしました。これら3つの方法は、線形モデルの標準的な正則化ツールキットを形成し、『Elements of Statistical Learning』や『An Introduction to Statistical Learning』の定番となっています。
使うべき場面
多数の数値特徴量から連続的な結果を予測する場合、多重共線性が疑われる場合、または特徴量の数がサンプルサイズに対して大きい場合に、正則化線形回帰を使用します。すべての特徴量が妥当に関連性を持つと考えられる場合はRidgeがデフォルトの選択肢であり、自動特徴量選択が必要な場合はLassoまたはElastic Netを選択します。特徴量が少なく、相関がなく、サンプルサイズが大きい場合にのみ、通常の(ペナルティなしの)線形回帰を優先します。結果が明らかに非線形である場合、または二値またはカテゴリカルである場合は、線形バリアントを使用せず、ロジスティック回帰またはツリーベースの方法を使用してください。
限界と注意点
- 特徴量と連続ターゲット間の線形関係を仮定します。特徴量を手動でエンジニアリングしない限り、非線形パターンを見逃します。
- フィッティング前に特徴量の標準化が必須です。このステップを忘れると、係数推定値が歪みます。
- 多くの真に関連する相関する予測変数が存在する場合には、Lassoはうまく機能しません。1つを選択して他を破棄しますが、Elastic Netはそのような状況ではより安全な選択肢です。
- Ridgeはすべて特徴量を保持し、スパースなモデルを生成しないため、特徴量空間が非常に高次元の場合、解釈が複雑になる可能性があります。
出典に示された条件は、独立した科学的レビューや分析エンジンによる検証の代わりにはなりません。
強み
- 明確な効果サイズと方向を持つ、完全に解釈可能な線形係数を生成します。
- 多重共線性をうまく処理します。Ridgeは相関する予測変数間で係数を再分配し、Lassoはグループから1つを選択します。
- LassoとElastic Netは、関連性のない係数を正確にゼロに設定することで、組み込みの特徴量選択を実行します。
- 大規模データセットでも計算効率が高く、座標降下法により数百万の観測値にスケールアップできます。
- すべての主要な統計ソフトウェア(scikit-learn、glmnet、statsmodels)で、λ選択の交差検証が十分にサポートされています。
応用
- ゲノミクスおよびバイオインフォマティクス:p >> n の状況で、数千の遺伝子マーカーから連続的な表現型を予測する。
- 経済学および社会科学:多重共線性を制御しながら、多数の政策変数が連続的な結果に与える影響を推定する。
- 工学:相関する測定値を持つセンサーアレイから物理量を予測する。
- 特徴量選択パイプライン:より複雑なモデルをフィッティングする前に、小さな予測変数セットを特定するために、LassoまたはElastic Netを上流で使用する。
- 金融:多数のマクロ経済要因および市場要因から収益またはリスク指標を予測する。
- ヘルスケア:大規模な検査値パネルまたは画像由来の特徴量から連続的な臨床結果を予測する。
使い方
使い方
フィッティング前に、すべての予測変数は標準化(平均ゼロ、分散単位)されます。これは、ペナルティがすべての係数に等しく適用されるため必須です。標準化が行われないと、より大きなスケールの特徴量がより重くペナルティを受けることになり、係数の推定値が歪んでしまいます。
実践者はペナルティの種類を選択します。Ridgeは係数の二乗和(L2ノルム)を使用し、すべての係数を縮小しますが、決してゼロにはしません。Lassoは絶対値の和(L1ノルム)を使用し、一部の係数を正確にゼロに縮小して自動的な特徴量選択を実行できます。Elastic NetはL1とL2を線形に組み合わせ、混合パラメータαで制御され、相関する複数の予測変数が関連性を持つ場合に特に有用です。
数式
\text{Ridge: } \lambda\sum_{j}\beta_j^2 \quad \text{Lasso: } \lambda\sum_{j}|\beta_j| \quad \text{Elastic Net: } \lambda_1\sum|\beta_j|+\lambda_2\sum\beta_j^2モデルは、ペナルティ付き目的関数(残差平方和+選択されたペナルティ×正則化強度λ)を最小化します。Ridgeには閉形式解がありますが、LassoとElastic Netは、L1ペナルティがゼロで微分不可能であるため、座標降下法または劣勾配最適化を必要とします。
数式
\hat{\boldsymbol{\beta}} = \arg\min_{\boldsymbol{\beta}} \left[ \|\mathbf{y} - \mathbf{X}\boldsymbol{\beta}\|^2 + \text{penalty}(\boldsymbol{\beta}) \right]正則化強度λはハイパーパラメータであり、通常は対数グリッド上で交差検証によって調整する必要があります。λ=0は最小二乗法を回復し、非常に大きなλはすべての係数をゼロに近づけます。最適なλは、特定のデータセットのバイアスとバリアンスのバランスを取ります。
λが固定され係数が推定された後、新しい観測値の予測は最小二乗法と全く同じです。すなわち、特徴量と推定された係数の内積です。モデルは線形効果の観点から完全に解釈可能です。
数式
\hat{y} = \mathbf{x}^\top \hat{\boldsymbol{\beta}}よくある落とし穴
- 予測変数を標準化せずにフィッティングすること。より大きなスケールの特徴量がより重くペナルティを受け、係数が比較できなくなります。
- 交差検証ではなくデフォルトのλを使用すること。間違ったλは、過小正則化(通常の最小二乗法に近い)または過剰正則化(係数がゼロに収束)のいずれかになります。
- 二値またはカウント結果に対して、ロジスティック回帰またはポアソン回帰を使用すべき場合に、正則化線形回帰を適用すること。
- Lassoの変数選択結果を、確認的なものであるかのように報告すること。Lassoの選択はデータセットとλに敏感であるため、選択された変数は探索的なものとして扱ってください。
- 線形性の仮定を無視し、残差を確認せずに、適合の悪い正則化モデルを報告すること。
よくある質問
RidgeとLassoのどちらを選ぶべきか?
ほとんどの予測変数が結果に寄与しており、係数をゼロにすることなく安定した係数推定値を得たい場合はRidgeを選択してください。例えば、予測変数が高度に相関しており、それらをすべて保持したい場合です。多くの特徴量が無関係であると予想され、自動特徴量選択を行いたい場合は、LassoまたはElastic Netを選択してください。
p値と信頼区間はまだ得られますか?
ペナルティ付き回帰では、係数推定値が意図的にバイアスされているため、ペナルティ付き回帰から直接古典的なp値と標準誤差を得ることはできません。選択後推論(例:脱スパース化Lasso)の方法は存在しますが、実際にはほとんど使用されません。代わりに、ブートストラップ信頼区間または交差検証による安定性尺度が報告されます。
正則化強度λをどのように選択しますか?
k分割交差検証(通常k=5または10)を対数グリッド上で使用してλを選択します。scikit-learnのRidgeCVやLassoCV、Rのglmnetなどのライブラリはこれを自動的に行います。選択されたλを報告し、それが最小交差検証誤差または1標準誤差ルールによって選択されたかどうかを明記してください。
正則化線形回帰は、特徴量の正規分布を必要としますか?
いいえ。最小二乗法と同様に、仮定は予測変数ではなく、残差(近似的に正規分布、等分散)にあります。非常に歪んだ、または外れ値が多い予測変数は、依然として推定値を歪める可能性があるため、歪んだ入力の対数変換は一般的な前処理ステップです。
Elastic Netとは何か、そしていつ好まれますか?
Elastic Netは、混合パラメータα(α=1は純粋なLasso、α=0は純粋なRidge)によって制御されるL1とL2のペナルティを組み合わせます。相関する予測変数のグループがすべて関連性を持つ場合に好まれます。Lassoはグループから1つを任意に選択して他を破棄しますが、Elastic Netはグループをまとめて保持する傾向があります。
関連する手法
参考文献
Tibshirani, R. (1996). Regression shrinkage and selection via the lasso. Journal of the Royal Statistical Society: Series B, 58(1), 267–288.
DOI 文献を開くコピーしました。Hastie, T., Tibshirani, R. & Friedman, J. (2009). The Elements of Statistical Learning (2nd ed., Ch. 3). Springer.
ISBN:978-0-387-84858-7コピーしました。