Skip to content
検索結果に戻る

Elastic Net

提唱者
Zou, H. & Hastie, T.
年
2005
種類
Regularized linear regression (L1 + L2 penalty)

この文章は機械翻訳で、まだ確認されていません。 英語の原文を読む

文字サイズ

何をする手法か?

Elastic Netは、2005年にZouとHastieによって導入された正則化線形回帰手法であり、LASSO(L1)ペナルティとRidge(L2)ペナルティを組み合わせることで、変数選択と係数縮小を同時に行います。多数の、おそらく相関のある予測変数を持つデータに対する予測モデリングおよび説明モデリングのために設計されています。

手法の背後にある直感

通常の線形回帰は過学習を起こしやすく、予測変数が相関している場合や、観測数よりも特徴量が多い場合にはうまく機能しません。LASSOは係数をゼロにして変数選択を行えますが、予測変数のグループが相関している場合には苦戦します。一方、Ridgeは係数を滑らかに縮小しますが、変数を完全に削除することはありません。Elastic Netはこれら2つを組み合わせたもので、LASSOの係数を正確にゼロにする能力を維持しつつ、Ridgeの安定性を借用することで、相関する予測変数を恣意的に選択するのではなく、うまく処理します。

歴史学

Elastic Netは、LASSOの2つの既知の弱点、すなわち予測変数が高度に相関している場合の不安定な挙動と、観測数よりも多くの変数を選択できないという問題点を克服するために、2005年にHui ZouとTrevor Hastieによって導入されました。LASSOのL1ペナルティにRidgeスタイルのL2項を追加することで、変数選択と解の安定化の両方を行う推定量を生成し、高次元回帰の標準的なツールとなっています。

使うべき場面

多数の予測変数(特に相関のあるものや観測数よりも多い特徴量)があり、自動的な変数選択と縮小の両方を望む場合に、連続値、二値、またはカウント型の目的変数に対する予測または説明に使用します。特徴量と目的変数の間にほぼ線形の関係があり、特徴量が正規化されていることを前提とします。交差検証で両方のハイパーパラメータを調整するには、少なくとも約30の観測値が必要です。それ未満の場合は、通常のLASSOまたはRidgeの方が安全です。

限界と注意点

  • 予測変数と目的変数の間にほぼ線形の関係を仮定する。
  • 特徴量は最初に正規化する必要がある。そうしないと、ペナルティが大規模な変数を不当に優遇してしまう。
  • 2つのハイパーパラメータ(ペナルティ強度とL1/L2比率)を調整する必要があり、単一ペナルティ法よりも多くの交差検証データを必要とする。
  • 少量のサンプル(約30未満のn)では、L1/L2混合比率の最適化が不安定になる。

出典に示された条件は、独立した科学的レビューや分析エンジンによる検証の代わりにはなりません。

強み

  • LASSOの変数選択とRidgeの縮小を単一のモデルに組み合わせる。
  • 相関する予測変数をうまく処理し、グループとして保持または削除する傾向がある。
  • 特徴量の数が観測数を上回る場合でも機能する。
  • 分布に依存しない:正規分布した目的変数を必要とせず、連続値、二値、およびカウント型の特徴量を扱える。

応用

  • 予測変数が観測数を上回る高次元回帰。
  • 相関する特徴量が多いゲノム研究やバイオマーカー研究。
  • 変数選択とロバストな係数の両方を必要とする予測モデリング。
  • 相関する予測変数を縮小・枝刈りすることでシグナルを明確にする説明モデリング。

使い方

使い方

1

このモデルは、通常の二乗誤差損失に組み合わせペナルティを加えたものを最小化することで係数を適合させます。この組み合わせペナルティは、一部の係数を正確にゼロにするL1項(選択)と、それらを滑らかに縮小するL2項(安定性)からなります。総ペナルティの強さはλで制御され、2つのペナルティ間のバランスは混合パラメータ(ここではαと表記されるl1_ratio)で制御されます。

数式
\min_{\beta}\; \tfrac{1}{2n}\,\lVert y - X\beta \rVert_2^2 + \lambda\left( \alpha \lVert\beta\rVert_1 + \tfrac{1-\alpha}{2}\lVert\beta\rVert_2^2 \right)
2

適合には2つのハイパーパラメータ(全体的なペナルティ強度とL1/L2混合比率)が関与し、これらは交差検証によって選択されます。調整すべきノブが1つではなく2つあるため、Elastic Netは、交差検証グリッドが信頼できるためには十分なデータ(少なくとも約30の観測値)を必要とします。予測変数は、ペナルティがすべての特徴量を同じスケールで扱うように、最初に標準化する必要があります。

3

適合されたモデルは、スパースな係数のセットを返します。重要でない予測変数はゼロにされて削除され、相関する予測変数はランダムに1つが選択されるのではなく、グループとしてまとめて保持または削除される傾向があります。残った係数は縮小されているため、ペナルティなしの回帰よりも安定した、汎化性の高いモデルが得られます。

よくある落とし穴

  • 予測変数を標準化せずに適合させること。
  • 観測数が少なすぎるデータで両方のハイパーパラメータを調整しようとすること。これにより、交差検証グリッドが信頼できなくなる。
  • 単一のペナルティで十分な場合にElastic Netを使用すること。選択のみが必要な場合はLASSO単独、縮小のみが必要な場合はRidge単独。
  • 縮小された係数を偏りのない効果量として解釈すること。

よくある質問

Elastic NetはLASSOやRidgeとどう違うのか?

LASSOはL1ペナルティのみを使用する(選択は可能だが相関する予測変数には不安定)。RidgeはL2ペナルティのみを使用する(安定した縮小は可能だが変数を削除することはない)。Elastic Netは両者を混合し、混合比率で制御されるため、変数を選択し、相関する特徴量に対しても安定性を保つ。

特徴量をスケーリングする必要はあるか?

はい。ペナルティは係数の大きさに作用するため、最初に特徴量を正規化する必要があります。そうしないと、大規模な変数は異なるペナルティを受け、選択が偏ります。

いくつの観測値が必要か?

少なくとも約30です。Elastic Netは交差検証によって2つのハイパーパラメータを調整するため、単一ペナルティ法よりも多くのデータが必要です。30未満の場合は、選択が必要なら通常のLASSO、縮小が必要ならRidgeを使用してください。

2つのハイパーパラメータは何を制御するのか?

全体的なペナルティ強度(λ)は係数がどれだけ縮小されるかを制御し、混合比率(l1_ratio)はL1選択ペナルティとL2縮小ペナルティの間のバランスを設定します。両方とも交差検証によって選択されます。

関連する手法

参考文献

  1. Zou, H. & Hastie, T. (2005). Regularization and Variable Selection via the Elastic Net. Journal of the Royal Statistical Society: Series B, 67(2), 301–320.

    DOI 文献を開く
    コピーしました。