正則化ロジスティック回帰
- 提唱者
- Tibshirani, R. (lasso); Hoerl & Kennard (ridge); Zou & Hastie (elastic net)
- 年
- 1996–2005
- 種類
- Penalized classification model
- 系統
- Machine learning
この文章は機械翻訳で、まだ確認されていません。 英語の原文を読む
何をする手法か?
正則化ロジスティック回帰は、対数尤度関数にL1(ラッソ)、L2(リッジ)、またはエラスティックネットのペナルティ項を追加することで標準ロジスティック回帰を拡張し、係数をゼロに近づけて過学習を防ぎます。高次元または共線的な特徴空間において、解釈可能でスパース、または安定した係数推定値が必要な二項分類または多項分類のデフォルトの選択肢です。
手法の背後にある直感
標準ロジスティック回帰は、観測されたクラスラベルの確率を最大化します。高次元の設定(多数の特徴量、少数の観測値、または相関のある予測変数)では、推定された係数が発散したり激しく変動したりして、汎化性能が悪化する可能性があります。正則化は、係数の大きさに比例して増加するペナルティ項を追加することで係数の大きさを制約し、訓練セットでの適合度をわずかに犠牲にして汎化性能を大幅に向上させます。L1ペナルティは一部の係数を正確にゼロにし(自動特徴量選択)、L2ペナルティはすべての係数をゼロにすることなく滑らかに縮小し、エラスティックネットは両方の挙動をブレンドします。
歴史学
リッジ回帰は1970年にHoerlとKennardによって形式化され、ロジスティック回帰を含む一般化線形モデルに適用されました。Tibshiraniの1996年のラッソ論文は、スパースな解を持つL1正則化を導入し、高次元モデリングを変革しました。ZouとHastie(2005)は、両方のペナルティをエラスティックネットに組み合わせ、グループ化された相関特徴量に対するラッソの限界に対処しました。現在、正則化ロジスティック回帰は、scikit-learn、glmnet(R)、およびLIBLINEARの基本的なアルゴリズムであり、生物医学およびNLPアプリケーションでベンチマーク分類器として日常的に使用されています。
使うべき場面
解釈可能な確率的出力が必要な場合、特徴量の数がサンプルサイズに対して大きい場合、または予測変数が相関している場合に、二項分類または多項分類に正則化ロジスティック回帰を使用します。臨床予測、バッグオブワーズ特徴量を用いたテキスト分類、高次元バイオマーカー研究における好ましい開始モデルです。自動特徴量選択が必要な場合はL1、安定した係数推定にはL2、相関のある特徴量のグループがある場合はエラスティックネットを選択します。結果と特徴量の関係が非線形である場合や、線形対数オッズ定式化では捉えきれない強い相互作用効果がある場合は避けてください。その場合、ツリーアンサンブルやカーネル法がより適切かもしれません。
限界と注意点
- 特徴量と対数オッズの間の線形関係を仮定しており、手動の特徴量エンジニアリングなしでは非線形または相互作用効果を捉えることができません。
- 結果変数はカテゴリカルである必要があります。連続的な結果変数の場合は、線形(ロジスティックではない)回帰が必要です。
- モデルが対数オッズにおいて加法的であるため、関連する特徴量が強く相互作用する場合、性能が低下します。
- 最適なラムダは交差検証によって選択する必要があり、計算とチューニングステップが増加します。
- クラスの不均衡が著しいデータは、リウェイトしないと、多数派クラスに予測確率が偏る可能性があります。
出典に示された条件は、独立した科学的レビューや分析エンジンによる検証の代わりにはなりません。
強み
- ほとんどのブラックボックス分類器とは異なり、キャリブレーションされたクラス確率と解釈可能な符号付き係数を生成します。
- L1ペナルティは自動特徴量選択を実行し、報告しやすいスパースなモデルを生成します。
- 係数縮小により、高次元特徴空間(p >> n)を堅牢に扱います。
- エラスティックネットペナルティは、相関する特徴量グループをうまく処理し、関連する予測変数に重みを分散させます。
- 座標降下法ソルバーを使用すると、大規模データセットでも非常に高速に適合でき、数百万の観測値にスケールアップできます。
応用
- 高次元バイオマーカーパネルからの臨床リスクスコアおよび診断分類器。
- バッグオブワーズまたはTF-IDF特徴量を用いたテキスト分類。L1は解釈可能なスパースな単語重みを生成します。
- 特徴量の数がサンプルサイズをはるかに超えるゲノミクスおよびプロテオミクス。
- 閾値ベースの決定のための確率出力を必要とするクレジットスコアリングおよび不正検出。
- より複雑なアンサンブルまたはディープラーニングモデルを評価する前のベースライン分類ベンチマーク。
使い方
使い方
特徴量の線形結合が陽性クラスの対数オッズを予測します。シグモイド関数は対数オッズを0から1の間の確率に変換し、出力をクラス確率として直接解釈可能にします。
数式
\log\frac{p}{1-p} = \mathbf{x}^\top\boldsymbol{\beta}最適化目的関数は、負の対数尤度(クロスエントロピー)にペナルティ項を加えたものです。ペナルティは係数の大きさに比例し、ハイパーパラメータであるラムダ(強度)とアルファ(L1/L2混合比)によって制御されます。ラムダが大きいほど収縮が強くなり、アルファ=1は純粋なラッソ、アルファ=0は純粋なリッジになります。
数式
\mathcal{L}(\boldsymbol{\beta}) = -\ell(\boldsymbol{\beta}) + \lambda\left[\alpha\|\boldsymbol{\beta}\|_1 + \tfrac{1-\alpha}{2}\|\boldsymbol{\beta}\|_2^2\right]ペナルティの選択が挙動を決定します。L1(ラッソ)は、関連性の低い特徴量をゼロにすることでスパースな解を生成し、特徴量選択が必要な場合に好まれます。L2(リッジ)は、すべて特徴量が寄与すると予想され、共線性が高い場合に好まれます。エラスティックネット(アルファが0から1の間)は、ラッソ単独よりもグループ化された相関特徴量をより良く扱います。
ペナルティ付き損失関数は、座標降下法(scikit-learnのliblinear/sagaソルバー)などの反復アルゴリズムを使用して最小化されます。最適なラムダは、通常、対数グリッド上で交差検証によって決定されます。適合前に特徴量を標準化することは、すべての予測変数に対してペナルティが一貫して適用されるようにするために不可欠です。
予測確率は、通常デフォルトで0.5の決定閾値を使用してクラスラベルに変換されます。不均衡な設定では、アプリケーションのコスト構造に応じて、精度と再現率のバランスをとるために閾値を調整する必要があります。
数式
\hat{y} = \mathbf{1}[\hat{p} \ge t]よくある落とし穴
- 特徴量を標準化せずに適合させること:ペナルティはすべての係数を等しく扱いますが、異なるスケールの特徴量には不均等な縮小が適用され、解が歪みます。
- キャリブレーションとクラスバランスを確認せずにデフォルトの閾値0.5を使用すること。これにより、少数派クラスの再現率が静かに低下します。
- 精度だけでなく、AUC、F1、キャリブレーションメトリクスも報告せず、少数派クラスのパフォーマンスの悪さを隠蔽します。
- ラムダ選択のために交差検証をスキップし、代わりに訓練データで評価すること。これにより、過学習したモデルにつながります。
- 省略変数バイアスと決定境界付近での変数選択の不安定性を考慮せずに、ラッソ選択された係数を因果関係として解釈すること。
よくある質問
L1、L2、エラスティックネットのどちらを選択すべきですか?
特徴量の一部のみが関連性があり、自動選択が必要な場合はL1を使用してください。すべての特徴量が寄与する可能性が高い場合や、予測変数が高度に相関している場合はL2を使用してください。リッジは相関グループ全体に重みを分散させます。スパース性が必要であり、相関特徴量のブロックもある場合はエラスティックネットを使用してください。ネストされた交差検証により、ラムダとともにアルファを調整してください。
適合前に特徴量を標準化する必要がありますか?
はい、常に。ペナルティ項はすべての係数を等しく扱います。したがって、標準化しない限り、大きな数値を持つ特徴量は比例して少ない縮小を受けます。適合前に各特徴量をゼロ平均と単位分散に中心化およびスケーリングし、テストデータにも同じ変換を適用してください。
ラムダはどのように選択されますか?
ラムダは交差検証によって選択されるハイパーパラメータです。通常、対数グリッド上でk分割(k=5または10)を使用します。Rのglmnetでは、cv.glmnetがこれを自動化します。scikit-learnでは、LogisticRegressionCVまたは交差検証を使用したGridSearchCV(逆正則化強度C(C=1/lambda)に対して)を使用する必要があります。
正則化ロジスティック回帰はキャリブレーションされた確率を提供しますか?
一般的にははい。ロジスティック回帰はシグモイド関数を介してクラス確率を直接モデル化するため、ツリーアンサンブルよりも優れています。ただし、極端な正則化は予測確率を0.5に圧縮する可能性があります。必要であれば、プラットスケーリングまたはアイソトニック回帰で再キャリブレーションできます。
クラスの不均衡をどのように処理しますか?
クラスの重み付けを調整します(scikit-learnではclass_weight='balanced')。これにより、少数派クラスの観測値に高い損失重みが与えられます。または、訓練セットを手動でリサンプリングします。また、精度-再現率曲線を使用して決定閾値を調整し、0.5に固定しないようにします。
関連する手法
参考文献
Tibshirani, R. (1996). Regression shrinkage and selection via the lasso. Journal of the Royal Statistical Society: Series B, 58(1), 267–288.
DOI 文献を開くコピーしました。Hastie, T., Tibshirani, R., & Friedman, J. (2009). The Elements of Statistical Learning (2nd ed., Ch. 4, 18). Springer.
ISBN:978-0-387-84857-0コピーしました。