Lasso回帰
- 提唱者
- Tibshirani, R.
- 年
- 1996
- 種類
- Regularized linear regression (L1 penalty)
この文章は機械翻訳で、まだ確認されていません。 英語の原文を読む
何をする手法か?
Lasso回帰は、1996年にRobert Tibshiraniによって導入された線形回帰手法であり、損失関数にL1ペナルティを加えることで係数を縮小し、同時に変数選択を行うことでスパースなモデルを生成します。一部の係数を正確にゼロにすることで、重要な予測変数のみを残します。
手法の背後にある直感
最小二乗法は全ての予測変数を当てはめ、相関のある、あるいは無関係な変数に重みを分散させることがあり、これは分散を増大させ、どの特徴量が実際に結果を駆動しているのかを不明瞭にします。Lassoは係数の合計サイズに予算を設けることで、その予算が厳しくなると、弱い予測変数はゼロまで押し出されてモデルから除外されます。その結果、解釈が容易な、より小さく安定した変数セットが得られます。
歴史学
Lassoは、1996年にRobert Tibshiraniによって、係数に対するL1ペナルティを使用して、ペナルティ付き回帰の縮小と自動変数選択を組み合わせる方法として導入されました。これは高次元統計学の礎となり、リッジ回帰やElastic Netのような関連手法の動機付けとなり、これらはL1とL2ペナルティのトレードオフや組み合わせを行います。
使うべき場面
多くの連続型、二値型、またはカウント型の予測変数、および少なくとも約30個の観測値から、スパースで解釈可能な線形モデルを予測または説明したい場合に適しています。特に多重共線性が存在する場合(例えばVIFが10を超える場合)で、どの変数を保持するかを手法自体に選択させたい場合に有用です。特徴量と結果の間にほぼ線形な関係を仮定し、特徴量の標準化を必要とします。約30個未満の観測値では変数選択が不安定になり、リッジ回帰の方が安全です。予測変数の数がサンプルサイズを超える場合は、Elastic Netが好ましいです。
限界と注意点
- 予測変数と結果の間の線形関係を仮定します。
- ペナルティが異なるスケールの変数に不公平に適用されるのを防ぐため、特徴量は最初に標準化する必要があります。
- 小標本(約30未満)では、選択された変数が不安定で再現性がありません。
- 予測変数の数がサンプルサイズを超える場合、最大でn個の変数をしか選択できないため、Elastic Netが好ましいです。
出典に示された条件は、独立した科学的レビューや分析エンジンによる検証の代わりにはなりません。
強み
- 単一の当てはめで変数選択と係数縮小を実行し、スパースで解釈可能なモデルを生成します。
- 弱い予測変数を正確にゼロにすることで、モデルを単純化し、過学習を軽減します。
- 手動で変数を削除することなく、多重共線性(高VIF)に対する自然な対応策です。
- 正規分布したデータを必要とせず、連続型、二値型、カウント型の予測変数を扱えます。
- チューニングパラメータ(ラムダ)が1つだけで、交差検証による設定が容易です。
応用
- 多くの候補予測変数から、スパースで解釈可能な予測モデルを構築すること。
- 多重共線性(高VIF)が存在する場合の自動変数選択。
- 特徴量のサブセットのみが重要であると予想される高次元設定。
- Elastic Netやより複雑なモデルを試す前の、正則化されたベースライン。
使い方
使い方
Lassoは、通常の残差平方和に、係数の絶対値の合計にラムダを掛けたペナルティを加えたものを最小化します。このL1ペナルティが定義的な特徴であり、ラムダが大きいほど、係数はゼロに近づけられます。
数式
\min_{\beta} \; \|y - X\beta\|_2^2 + \lambda \sum_j |\beta_j|L1ペナルティは鋭い角を持つため、係数をゼロに近づけるだけでなく、多くの係数を正確にゼロにします。ゼロ係数を持つ変数は実質的に削除されるため、当てはめと変数選択が単一のステップで実行され、最終的なモデルはスパースになります。
ペナルティの強さであるラムダは、当てはまりとスパース性の間のトレードオフを制御するため、交差検証によって選択されます。様々なラムダ値が試され、交差検証された平均二乗誤差を最小化する値が保持されます。特徴量は、異なるスケールの予測変数にペナルティが公平に適用されるように、最初に標準化する必要があります。
よくある落とし穴
- 特徴量を標準化せずにLassoを当てはめること。
- 交差検証で調整せずに、手動でラムダを選択すること。
- 選択が不安定な非常に小さな標本で、選択された変数を信頼すること。
- 当てはめ後に残差プロットの正規性や均一性を確認し忘れること。
- 予測変数よりも観測値が多い場合に、Lassoが選択される変数の数を制限することを見落とすこと。
よくある質問
ラムダはどのように選択されますか?
ラムダは係数をどれだけ強くペナルティを課すかを制御します。交差検証によって選択されます。様々な値が試され、交差検証された平均二乗誤差を最小化する値が保持されます。
なぜ特徴量を標準化する必要があるのですか?
単一のL1ペナルティは全ての係数に等しく適用されるため、より大きなスケールで測定された予測変数は、そうでない場合、より少なくペナルティが課されます。特徴量を最初に標準化することで、ペナルティが変数間で公平になります。
Lassoはリッジ回帰とどのように異なりますか?
Lassoは係数を正確にゼロにできるL1ペナルティを使用し、変数選択を実行します。一方、リッジは係数を縮小しますがゼロにはしないL2ペナルティを使用します。小標本の場合や選択が不安定な場合、リッジの方が安全な選択肢です。
当てはめ後に何をチェックすべきですか?
交差検証MSE曲線を確認して選択されたラムダを検証し、保持された変数とゼロにされた変数をレビューし、残差プロットを正規性と均一性のために調べます。
関連する手法
参考文献
Tibshirani, R. (1996). Regression Shrinkage and Selection via the Lasso. Journal of the Royal Statistical Society: Series B, 58(1), 267–288.
DOI 文献を開くコピーしました。