Skip to content
検索結果に戻る

重回帰分析

提唱者
Carl Friedrich Gauss
年
1801
種類
Method
系統
predictive-modeling

この文章は機械翻訳で、まだ確認されていません。 英語の原文を読む

文字サイズ

何をする手法か?

重回帰分析は、連続型の従属変数と2つ以上の独立変数(予測変数)の関係をモデル化する統計的手法である。19世紀初頭のガウスの研究に端を発し、ドレイパーとスミス(1966)によって形式化されたこの手法は、複数の予測変数を考慮しながら結果を予測する線形方程式を推定し、交絡関係を説明することで、疫学、経済学、心理学、臨床研究において不可欠なものとなっている。

手法の背後にある直感

重回帰分析は、単純な二変量相関を拡張し、複数の予測変数が結果にどのように影響するかを同時に調べるものである。生の関連性を観察するのではなく、回帰分析は、他の変数を一定に保ちながら(実験的制御のように)、各予測変数の独自の寄与を分離する。線形モデルでは、結果は予測変数の加重和であると仮定される:Y = b₀ + b₁X₁ + b₂X₂ + ... + bₚXₚ + ε。係数(b)は、他の予測変数を調整した上での、Xの単位増加あたりのYの変化を表す。これにより、研究者はどの予測変数が最も重要かを特定し、交絡変数を制御し、新しい観測値に対する予測を行うことができる。

歴史学

カール・フリードリヒ・ガウスは1801年に天体予測のために最小二乗法を開発した。カール・ピアソンや初期の統計学者は、線形回帰を生物学的データに適用した(フランシス・ゴルトン、1886年)。ノーマン・ドレイパーとハリー・スミスの1966年の著書『Applied Regression Analysis』は、重回帰分析の方法論を標準化した。1980年代から90年代の計算革命により、ソフトウェアでの利用が広く普及した。現代的な拡張には、正則化(リッジ、ラッソ、エラスティックネット;ティブシリ、1996年)、頑健手法、因果推論フレームワーク(傾向スコア、操作変数)が含まれる。

使うべき場面

連続型の結果変数と複数の予測変数があり、交絡因子を調整しながらそれらの関連性を理解したい場合に重回帰分析を使用する。一般的な応用例としては、臨床変数から患者の転帰を予測する、経済指標を推進する要因を理解する、人口統計学的要因を制御しながら治療効果を推定する、学生の特性から教育達成度をモデル化するなどがある。サンプルサイズが実験的ランダム化を妨げる場合(観察研究)にも回帰分析は理想的である。カテゴリ型の結果変数の場合は、ロジスティック回帰または多項式ロジスティック回帰を使用する。クラスター化されたデータ(学校内の生徒など)の場合は、多層回帰を使用する。欠損データの場合は、事前に多重代入を検討する。

限界と注意点

  • 線形関係を仮定しているため、明示的にモデル化しない限り、曲線的または閾値効果を見逃す(変換または多項式項による)。
  • 多重共線性に敏感である:相関の高い予測変数は、不安定で解釈が困難な係数を生成する。VIF > 10は問題であり、解決策としては、予測変数の削除、主成分、またはリッジ回帰が挙げられる。
  • 外れ値や影響力のある点は、推定値や適合度に不均衡に影響を与える可能性がある。頑健回帰手法(フーバー、M推定値)でこれに対処する。
  • 一定の分散(等分散性)を仮定している。不均一分散データには、加重最小二乗法または頑健標準誤差の調整が必要である。
  • 統計的有意性は因果関係ではない:関連性が真の効果を反映しているのか、それとも未測定の交絡因子を反映しているのかを区別できない。強い理論的根拠が必要である。

出典に示された条件は、独立した科学的レビューや分析エンジンによる検証の代わりにはなりません。

強み

  • 複雑な関係を解きほぐすのに強力である:他の変数を制御しながら各予測変数の独自の効果を推定し、観察データで実験的制御をシミュレートする。
  • 柔軟性がある:連続型およびカテゴリ型の予測変数、交互作用、多項式項に対応でき、非線形関係にも拡張可能である。
  • 解釈しやすい:係数は結果の単位変化を直接表し、結果を臨床医や政策立案者にとって実行可能なものにする。
  • 予測:適合モデルは、信頼区間を伴う新しい観測値の予測値を生成し、リスク層別化や予測などの実用的な応用を可能にする。
  • 豊富な診断機能が利用可能:標準化残差、レバレッジプロット、影響度指標は、モデルの違反を特定し、対処するのに役立つ。

応用

  • 臨床予測:患者の人口統計学的情報、併存疾患、治療要因から病院再入院リスクをモデル化し、退院計画や介入に情報を提供する。
  • 疫学研究:年齢、性別、社会経済的地位などの交絡因子を調整しながら、曝露(喫煙、食事)と疾患の関連性を推定する。
  • 教育研究:高校のGPA、テストスコア、社会経済的要因から大学卒業を予測し、どの要因が最も重要かを特定する。
  • 不動産および経済学:広さ、場所、築年数、近隣の特徴から物件価格を予測し、住宅市場の動向を分析する。
  • 品質改善および製造:プロセスパラメータ(温度、圧力、材料)から製品の故障率をモデル化し、運用を最適化する。

使い方

使い方

1

重回帰分析を実施するには、まず、すべてのパラメータを推定するのに十分な大きさのサンプル(通常は予測変数の数pに対してn > 10p、十分な検出力のためには理想的にはn > 50)から、連続型の結果データと連続型またはカテゴリ型の予測変数データを収集する。欠損データは最小限に抑え、すべての変数を記録する(欠損がランダムであることを確認する)。データ駆動型のモデル選択を避けるため、分析前に結果(従属変数)と予測変数(独立変数)を定義する。スケール間で係数を比較する場合は、連続型の予測変数を標準化する(平均を引き、標準偏差で割る)。これにより解釈が容易になり、多重共線性が軽減される。カテゴリ型の予測変数は、ダミーコーディング(kカテゴリに対してk-1個の指標)または対比コーディングを使用してコード化する。

2

最小二乗法(OLS)を用いて回帰係数を推定する:残差平方和(SSE = Σ(y_i − ŷ_i)²)を最小化する。ソフトウェア(R、Python、SPSS、SAS)が係数ベクトルb = (X'X)⁻¹X'yを計算する。報告すべき項目は以下の通りである:(1)切片(b₀):すべてのX=0のときの予測Y。(2)傾き係数(b₁, b₂, ...):他の予測変数を調整した上での、Xの単位増加あたりのYの変化。(3)標準誤差(SE)とt統計量:t = b/SEは係数がゼロと異なるかどうかを検定する。(4)信頼区間(95% CI):通常はb ± 1.96×SE。(5)R²:モデルによって説明されるYの分散の割合(0から1)。(6)調整済みR²:モデルの複雑さをペナルティする。(7)分散拡大係数(VIF):多重共線性を診断する。VIF > 10は問題のある予測変数の相関を示す。(8)ダービン・ワトソン統計量:残差の自己相関を検定する。

3

係数は、予測変数X_iの1単位増加に対して、他のすべての予測変数を一定に保った場合に、結果がb_i単位増加すると解釈する。係数のp値が0.05未満の場合、その予測変数は統計的に有意であると結論付ける。R²と調整済みR²はモデル全体の適合度を要約する。より保守的な推定値を得るためには調整済みR²を報告する。残差プロットを調べることで仮定を検証する:(1)線形性:予測値と残差の散布図にパターンがないこと。(2)正規性:標準化残差のQ-Qプロットが対角線に沿っていること。(3)等分散性:残差が適合値全体で一定の分散を持つこと(ブレシュ・パガン検定)。(4)独立性:ダービン・ワトソン統計量が約2であれば、自己相関がないことを示唆する。違反パターンが存在する場合は、モデルの誤指定を示唆するため、変換(log Y)、交互作用の追加、または多項式項の追加を検討する。回帰診断プロットや、推定値に不均衡に影響を与える外れ値を特定するためのレバレッジ/影響度指標(クックの距離、DFFITS)を使用する。

よくある落とし穴

  • データ駆動型のモデル選択(ステップワイズ法、前方選択法、後方選択法):偶然に依存し、第一種の過誤を増加させ、不安定な係数を生成する。理論駆動型のモデル指定を優先する。
  • 多重共線性の無視:相関行列を調べるだけでは不十分である。各予測変数のVIFを計算する。VIF > 5–10は対応を必要とする。
  • 過学習:予測変数を増やしすぎると、一般化能力が低下し、R²が増加する。真の予測能力を評価するには、調整済みR²またはクロスバリデーションを使用する。
  • ランダム化なしに回帰係数を因果的に解釈すること:交絡、逆因果関係、選択バイアスが妥当性を脅かす。
  • 残差の仮定のチェックを怠ること:正規性のない残差、不均一分散、自己相関は、標準誤差を増加させるか、推定値を偏らせる。
  • クラスター化されたデータ(例:病院にネストされた患者)で調整されていない標準誤差を使用すると、信頼区間が狭すぎる結果になる。多層推定値またはサンドイッチ推定値が必要である。

よくある質問

予測変数を標準化すべきなのはいつか、またそれは解釈にどのように影響するか?

予測変数が大きく異なる尺度にある場合、係数の大きさを比較したい場合、または多重共線性を軽減する必要がある場合に、連続型の予測変数を標準化する(zスコア:平均を引き、標準偏差で割る)。標準化された係数は標準偏差の単位で表される。係数が0.5の場合、予測変数の1標準偏差の増加は、結果の0.5標準偏差の増加を予測することを意味する。生の(標準化されていない)係数は元の単位を保持し、しばしば実用的な解釈を助ける。両方を常に報告し、どちらを報告したかを明記すること。

R²と調整済みR²の違いは何ですか?

R² = 1 − (SSE/SS_total) は、モデルによって説明される結果の分散の割合を表す。予測変数が追加されると、たとえそれらが真の効果を持たない場合でも、常に増加する。調整済みR² = 1 − [(1 − R²)(n − 1)/(n − p − 1)] は、自由度の損失(pは予測変数の数、nはサンプルサイズ)によってモデルの複雑さをペナルティする。モデル選択と真の予測能力の評価には、調整済みR²を使用する。新しい予測変数が1つのパラメータのコストよりも少ない情報しか追加しない場合、減少する。両方を報告すること。

他の変数がモデルに含まれている場合に、有意でない係数をどのように解釈すべきか?

有意でない係数(p > 0.05)は、他の変数を一定に保った場合に、この予測変数が結果と関連しているという十分な証拠がないことを示す。これは、予測変数が効果を持たない、他の予測変数によって交絡されている(多重共線性)、またはサンプルサイズが小さすぎる可能性があることを意味する。信頼区間とVIFを確認する。信頼区間が広く、VIFが高い場合は、多重共線性の可能性が高い。予測変数が理論的に重要である場合は、感度分析として90% CIとともに報告することを検討する。p値のみに基づいて予測変数を削除しないこと。ドメイン知識を使用する。

残差が正規分布していない場合はどうすればよいか?

サンプルサイズが大きい場合、回帰の頑健性により、軽度の非正規性はしばしば許容される。残差の正規性はn < 30の場合に重要になる。Q-Qプロットを目視で確認し、シャピロ・ウィルク検定を実施する。非正規の場合は、(1) 結果の対数または平方根変換、(2) 省略された予測変数または交互作用の追加、(3) 頑健回帰(フーバー、ビスクエア)の適合、または (4) ブートストラップ信頼区間の使用を検討する。極端な外れ値は調査する必要がある。データ入力エラーによる場合は削除し、それ以外の場合は外れ値を含む場合と含まない場合の結果を報告する。

関連する手法

参考文献

  1. Draper, N. R., & Smith, H. (1966). Applied Regression Analysis. John Wiley & Sons.

    出版物の文献を開く
    コピーしました。
  2. Cohen, J., Cohen, P., West, S. G., & Aiken, L. S. (1992). Applied Multiple Regression/Correlation Analysis for the Behavioral Sciences (2nd ed.). Lawrence Erlbaum.

    出版物の文献を開く
    コピーしました。
  3. Marquardt, D. W. (1980). You should standardize the independent variables in your regression models. Discussion of a paper by G. David Knottnerus. Journal of the American Statistical Association, 75(369), 87–91.

    出版物の文献を開く
    コピーしました。