ロジスティック回帰 (ML)
- 提唱者
- Cox, D. R.
- 年
- 1958
- 種類
- Probabilistic linear classifier
- 系統
- Machine learning
この文章は機械翻訳で、まだ確認されていません。 英語の原文を読む
何をする手法か?
ロジスティック回帰は、予測変数(説明変数)の線形関数として、二値(または多値)結果の対数オッズをモデル化する、基礎的な確率的分類器である。1958年にD.
R. Coxによって導入されたこの手法は、統計学と機械学習の両方において、最も広く使用され、解釈可能な分類手法の一つであり続けており、その調整された確率出力と明確な係数解釈によって高く評価されている。
手法の背後にある直感
ロジスティック回帰は、「与えられた特徴量のセットに対し、ある観測値が特定のクラスに属する確率はいくらか?」という問いに答える。結果の対数オッズに直線を引き、その線形スコアをシグモイド(S字型)曲線で圧縮して0から1の間の確率を生成する。各予測変数の係数は、その特徴量が1単位変化したときに、陽性クラスの対数オッズがどのようにシフトするかを直接示しており、モデルの透明性が非常に高い。予測確率が0.5を超える場合は陽性クラスとして分類されるが、この閾値は調整可能である。
歴史学
David Coxは1958年に二値結果に対してロジスティック回帰を形式化し、それ以前のプロビットモデルの研究を拡張した。1970年代から1980年代にかけて、疫学と社会科学における標準的な分類器となった。多項結果および正則化バリアントに拡張された最尤推定フレームワークは、TibshiraniのLasso(1996年)およびHastie、Tibshirani、FriedmanのThe Elements of Statistical Learning(2001年)によって統合された。今日でも、解釈可能な分類器の代表格であり、多くの査読ガイドラインで必須のベースラインとなっている。
使うべき場面
結果が二値またはカテゴリカルであり、サンプルサイズが少なくとも中程度(経験則として予測変数あたり10件以上のイベント)、かつ解釈可能な係数または調整された確率が必要な場合にロジスティック回帰を使用する。社会科学、医学、疫学におけるデフォルトのベースライン分類器であり、より複雑なモデルの前に試すべきである。決定境界が強く非線形である場合、多くの交互作用項が必要な場合、または複雑な表形式データでの予測精度が解釈可能性よりも重要な場合は避けるべきである。そのような場合は、ツリーベースのアンサンブルやSVMが通常、より優れた性能を発揮する。
限界と注意点
- 特徴量と結果の対数オッズの間の線形関係を仮定する。非線形パターンには、手動の特徴量エンジニアリングまたは非線形モデルが必要である。
- 予測変数間の多重共線性に敏感である。相関する特徴量は係数の標準誤差を増大させ、推定値を不安定にする。
- 予測変数あたりのイベント数(経験則:少なくとも10件)が適度にある必要がある。結果クラスが少ないと、収束の問題や過学習が発生する。
- 多くの交互作用がある複雑な表形式データでは、アンサンブル手法(ランダムフォレスト、勾配ブースティング)よりも性能が劣る可能性がある。
出典に示された条件は、独立した科学的レビューや分析エンジンによる検証の代わりにはなりません。
強み
- ラベルだけでなく、調整されたクラス確率を生成するため、ランキングや決定閾値処理に直接使用できる。
- 係数は対数オッズ比として解釈可能であり、臨床、社会科学、政策研究で期待される基準を満たす。
- 大規模データセットでも計算が高速でメモリ効率が良い。
- 正則化されたバリアント(Ridge、Lasso、Elastic Net)は、高次元特徴量を扱い、自動特徴量選択を実行する。
- 判別分析と比較して仮定が少ない:予測変数の多変量正規性を必要としない。
- 堅牢でよく理解されており、複雑なモデルと比較するための強力で信頼性の高いベースラインとなる。
応用
- 疾患診断および臨床リスクスコアリング(例:再入院または死亡率の予測)。
- 金融における信用リスクおよび不正検出。
- 社会科学および疫学における二値調査回答モデリング。
- 高速で解釈可能なテキストベースラインとしてのスパムおよび感情分類。
- より複雑なアンサンブルモデルを展開する前のベースライン分類器。
使い方
使い方
すべての入力特徴量の加重和が計算される。各特徴量はデータから学習される係数(重み)を受け取り、切片はすべての特徴量がゼロの場合のベースラインの対数オッズを捉える。これは線形回帰と同じ形式であるが、出力は直接的な数値予測ではなく、対数オッズスコアとして解釈される。
数式
z = \beta_0 + \beta_1 x_1 + \cdots + \beta_p x_p
線形スコアはシグモイド関数によって変換され、任意の数値を(0, 1)の開区間にマッピングする。これにより、適切に調整されたクラス確率が得られる。多クラス問題では、softmax関数がこのステップを一般化し、すべてのクラスに対する確率分布を生成する。
数式
P(y=1|\mathbf{x}) = \sigma(z) = \frac{1}{1 + e^{-z}}モデルパラメータは、予測確率が与えられた観測ラベルの対数尤度を最大化することによって推定される。これは二値クロスエントロピー損失を最小化することと同等である。通常の最小二乗法とは異なり、閉形式解は存在しないため、反復最適化アルゴリズム(通常はニュートン・ラーフソン法または勾配降下法)が使用される。
数式
\ell(\boldsymbol{\beta}) = \sum_{i=1}^{n} \left[ y_i \log \hat{p}_i + (1-y_i) \log(1-\hat{p}_i) \right]反復ソルバー(L-BFGS、ニュートン・ラーフソン法、確率的勾配降下法など)が、収束するまで係数ベクトルを更新する。目的関数に正則化項(L1またはL2)を追加して係数を縮小し、過学習を防ぎ、自動特徴量選択(L1 / Lasso)を可能にすることができる。
適合された確率は、クラスラベルを割り当てるために分類閾値(デフォルト0.5)と比較される。不均衡な設定や、偽陽性および偽陰性のコストが異なる場合、この閾値は0.5のままにするのではなく、精度-再現率曲線またはROC分析を使用して調整する必要がある。
数式
\hat{y} = \mathbf{1}[\hat{p} \geq 0.5]よくある落とし穴
- 訓練/テスト分割または交差検証を省略し、訓練データで評価すること。これにより、見かけのパフォーマンスが過大評価される。
- 不均衡クラスで、精度のみを指標として使用し、AUC-ROC、F1、混同行列を報告しないこと。
- 線形性の仮定を無視し、診断チェックなしに、強く非線形なクラス境界を持つデータにロジスティック回帰を適用すること。
- 予測変数の数がサンプルサイズに対して大きい場合に正則化を適用せず、過学習につながること。
- 係数の大きさを解釈する前に、多重共線性をチェックしないこと(VIF経由)。
よくある質問
ロジスティック回帰とランダムフォレストのどちらを優先すべきか?
調整された確率、解釈可能な係数が必要な場合、または臨床試験や政策評価のように、明示的なオッズ比を必要とする報告基準を満たす必要がある場合。ランダムフォレストは通常、より高い予測精度を達成するが、直接的な係数解釈は提供しない。
どのくらいの観測数が必要か?
広く引用されている経験則は、予測変数あたり少なくとも10件のイベント(陽性結果)が必要であるということ。イベント数が少ないと、パラメータ推定値が不安定になり、信頼区間が信頼できなくなる。正則化またはペナルティ付き尤度により、使用可能な範囲をある程度拡張できる。
特徴量を標準化すべきか?
予測のためには特徴量の標準化は必須ではないが、予測変数間の係数の大きさを比較する場合や、正則化(L1またはL2)を使用する場合(ペナルティはすべての係数を同じスケールで扱うため)には重要である。
二値ロジスティック回帰と多項ロジスティック回帰の違いは何か?
二値ロジスティック回帰は、シグモイド関数を使用して二値結果をモデル化する。多項(softmax)ロジスティック回帰は、これを3つ以上の順序のないクラスに一般化し、参照クラスに対する各クラスの係数のセットを推定する。
クラス不均衡をどのように処理するか?
scikit-learnでclass_weight='balanced'を設定して損失関数を再重み付けするか、少数派クラスをオーバーサンプリングする(SMOTE)。常に精度ではなくAUC-ROCおよび精度-再現率曲線で評価し、分類閾値を検証セットで調整する。
関連する手法
参考文献
Cox, D. R. (1958). The regression analysis of binary sequences. Journal of the Royal Statistical Society, Series B, 20(2), 215–242.
DOI 文献を開くコピーしました。James, G., Witten, D., Hastie, T. & Tibshirani, R. (2013). An Introduction to Statistical Learning (Ch. 4). Springer.
ISBN:978-1-4614-7138-7コピーしました。