線形回帰(機械学習)
- 提唱者
- Legendre, A.-M. & Gauss, C.F.
- 年
- 1805–1809
- 種類
- Supervised regression
- 系統
- Machine learning
この文章は機械翻訳で、まだ確認されていません。 英語の原文を読む
何をする手法か?
線形回帰は、1つ以上の入力特徴量と連続的な数値アウトカムとの間の直線的な関係を、予測誤差の二乗和を最小化することによって適合させます。機械学習モデルとして、ラベル付きサンプルで訓練され、保持されたデータで評価されるため、あらゆる回帰タスクにおける最も単純な教師あり学習のベースラインとなります。
手法の背後にある直感
データ点の散布図上に最良適合線を描くことを想像してください。線形回帰は、これを複数の予測変数に対して同時に行います。すなわち、線による予測値と真の値との間の全二乗距離を最小化する特徴量の重みの組み合わせを見つけます。関係は入力の単純な加重和として表現されるため、各係数は、他のすべてを一定に保った場合に、その特徴量が1単位増加したときに予測されるアウトカムがどれだけ変化するかを直接示します。この透明性により、真の関係が曲線的であったり相互作用を含んだりする場合に過小適合を起こす可能性があるにもかかわらず、線形回帰は説明および監査が異常に容易になります。
歴史学
最小二乗法は、1805年にルジャンドルによって、1809年頃にガウスによって独立に発表されました。20世紀半ばまでに、線形回帰は応用統計学の基礎技術となっていました。機械学習モデルとしての再定式化(サンプルで訓練され、保持されたデータで評価され、過学習を防ぐために正則化される)は、予測モデリングにおいて第二の生命を与え、あらゆる回帰問題における標準的な最初のステップベースラインとして依然として存在しています。
使うべき場面
アウトカムが連続的であり、予測変数とアウトカムの間の期待される関係がほぼ線形的であり、解釈可能な係数が必要な場合に線形回帰を使用します。より複雑なモデルを試す前の適切な最初のベースラインであり、その仮定が満たされる場合には良い最終モデルとなります。二値またはカテゴリカルなアウトカム(代わりにロジスティック回帰を使用)、強い非線形パターンまたは相互作用が支配的な場合、または正則化なしで予測変数の数がサンプルサイズを超える場合には使用しないでください。
限界と注意点
- 線形関係を仮定します。手動でエンコードされない限り、曲線、閾値、および相互作用を見逃します。
- 二乗誤差が極端な点の影響を増幅するため、外れ値に敏感です。
- 予測変数間の多重共線性(multicollinearity)は、標準誤差を膨張させ、係数推定値を不安定にします。
- 有効な推論のためには、残差がほぼ正規分布し、等分散であることを要求します。
出典に示された条件は、独立した科学的レビューや分析エンジンによる検証の代わりにはなりません。
強み
- 係数は直接解釈可能です。各値は、アウトカムの単位での限界効果です。
- 計算上は些細な問題です。大規模なデータセットでもほぼ瞬時に適合します。
- 標準誤差とp値を提供し、正式な仮説検定をサポートします。
- より複雑なモデルと比較されるべき不可欠なベースラインとして機能します。
- 線形性の仮定が満たされる場合にはうまく機能し、完全に正当化されます。
- 予測変数が多数ある場合に、正則化拡張(Ridge、Lasso、Elastic Net)と高度に互換性があります。
応用
- あらゆるドメインの表形式の特徴量から連続的な数値アウトカムを予測すること。
- 勾配ブースティングまたはニューラルネットワークモデルをテストする前に、パフォーマンスベースラインを確立すること。
- 線形性が満たされる場合に、観察研究における効果量と限界影響を推定すること。
- ビジネス分析における需要予測、価格モデリング、およびリソース推定。
- より複雑な分析の前に、最も重要な予測変数を特定するための迅速な探索的モデリング。
- モデルの透明性が法的または倫理的に要求される設定における、解釈可能なスコアリング関数。
使い方
使い方
モデルは、予測を入力特徴量の加重和に切片を加えたものとして表現します。ターゲット変数は連続的かつ数値的でなければなりません。カテゴリ入力は、適合前にダミー変数または数値変数としてエンコードする必要があります。
数式
\hat{y} = \beta_0 + \beta_1 x_1 + \cdots + \beta_p x_p最小二乗法は、残差平方和を最小化する係数ベクトルを見つけます。中規模のデータセットでは、正規方程式を介して解析的に解かれます。非常に大規模なデータセットでは、代わりに反復ソルバーまたは確率的勾配降下法が使用されます。
数式
\hat{\boldsymbol{\beta}} = (\mathbf{X}^\top \mathbf{X})^{-1} \mathbf{X}^\top \mathbf{y}決定係数(R二乗)は、モデルがアウトカムの分散のどれだけを説明しているかを要約します。アウトカムの元の単位での誤差を報告する、二乗平均平方根誤差および平均絶対誤差によって補完されます。
数式
R^2 = 1 - \frac{\sum_i (y_i - \hat{y}_i)^2}{\sum_i (y_i - \bar{y})^2}適合は、過学習を検出するために、保持されたテストセットまたはk分割交差検証を介して評価されます。残差プロット(適合値に対する残差、および残差のQ-Qプロット)は、推論を信頼する前に、線形性、等分散性、および誤差の正規性をチェックするために検査されます。
よくある落とし穴
- 訓練データの範囲をはるかに超えて、線形近似が破綻する領域への予測の外挿。
- 残差診断を無視し、プロットをチェックせずにモデルが有効であると仮定すること。
- 多重共線性にアドレスを入れずに、高度に相関する予測変数を含めること(VIFを確認)。
- 新しいデータでの予測精度としてR二乗を混同すること。常に保持されたセットで評価してください。
- 二値またはカウントアウトカムに線形回帰を適用すること。ロジスティック回帰またはポアソン回帰の代わりに。
よくある質問
線形回帰とロジスティック回帰の違いは何ですか?
線形回帰は連続的なアウトカムを直接予測します。ロジスティック回帰は二値アウトカムの対数オッズをモデル化し、0と1の間の確率を出力します。二値アウトカムに線形回帰を使用すると、[0, 1]の範囲外の予測を生成する可能性があり、定数分散の仮定に違反します。
特徴量を標準化する必要がありますか?
予測には標準化は必要ありませんが、特徴量が非常に異なるスケールを持つ場合、係数を直接比較可能にします。RidgeまたはLassoのような正則化されたバリアントを使用する場合は特に推奨されます。
サンプルサイズに対して予測変数が多数ある場合、どのように対処しますか?
正則化線形回帰(収縮にはRidge、スパース性にはLasso、両方にはElastic Net)に切り替えます。予測変数の数が観測数に近づくか、それを超えると、OLSは信頼できなくなったり、定義されなくなったりします。
どのような残差プロットを検査すべきですか?
最低限:(1)非線形性または不均一分散性を示唆するパターンをチェックするための適合値に対する残差、および(2)正規性を評価するための残差のQ-Qプロット。スケール-ロケーションプロットおよびレバレッジ/影響統計量(Cookの距離)も有益です。
高いR二乗は、良いモデルを宣言するのに十分ですか?
いいえ。R二乗はインサンプル適合を測定し、無関係な予測変数によって膨張する可能性があります。常にR二乗とともに交差検証またはテストセットのRMSEを報告し、モデルの仮定が満たされていることを確認するために残差診断を検査してください。
関連する手法
参考文献
Hastie, T., Tibshirani, R. & Friedman, J. (2009). The Elements of Statistical Learning: Data Mining, Inference, and Prediction (2nd ed., Ch. 3). Springer.
ISBN:978-0-387-84858-7コピーしました。James, G., Witten, D., Hastie, T. & Tibshirani, R. (2013). An Introduction to Statistical Learning (Ch. 3). Springer.
ISBN:978-1-4614-7138-7コピーしました。