統計報告基準:分析の透明性のある報告
- 提唱者
- Statistical and methodological literature; emphasized by Cumming (2013), ICMJE, and replication crisis discussions
- 年
- 2005
- 種類
- Guideline
- 系統
- results-reporting
この文章は機械翻訳で、まだ確認されていません。 英語の原文を読む
何をする手法か?
効果量、信頼区間、p値、および仮定を含む統計結果の透明性のある報告は、科学的誠実性と再現性のために不可欠である。多くの発表された研究では、効果量や信頼区間なしにp値のみが報告されており、読者が結果の大きさを評価することは不可能になっている。Cumming (2013)、米国統計協会、およびICMJEによって強調されている統計報告基準では、効果量、信頼区間、および不確実性の議論が要求される。これにより、読者は結果が(統計的に有意であるだけでなく)実質的に有意であるかどうかを判断し、メタアナリシスで研究間の効果量を比較することができる。不十分な統計報告は研究を浪費し、証拠の適切な統合を妨げる。
手法の背後にある直感
p値は広く誤解されている:p<0.05は、結果が「重要」であるとか、帰無仮説が「偽」であるという意味ではない。それは単に、帰無仮説が真であった場合に観測されたデータが5%未満の時間で発生するということを意味するにすぎない。些細な効果(例:0.1%の違い)でも、大きなサンプルサイズではp<0.001になることがある。逆に、臨床的に重要な大きな効果(例:症状の50%削減)でも、小さなサンプルサイズではp<0.05に達しないことがある。効果量と信頼区間はこれを解決する:それらは効果の大きさと、ありうる値の範囲を定量化する。95%信頼区間[2.1, 2.3]は、真の効果が2.1から2.3の間にあると95%確信できることを意味する。信頼区間にゼロまたは帰無仮説の効果値が含まれる場合、結果は統計的に有意ではない。p値だけでは得られないこの追加情報により、読者は結果を意味のある形で解釈することができる。
歴史学
統計報告基準は、科学におけるp値誤用の数十年にわたる批判から進化した。1992年、ジャーナルEpidemiologyはp値と並んで信頼区間を要求した;他のジャーナルも続いた。Cumming (2013)の著名な論文「The New Statistics」は、p値閾値よりも効果量と信頼区間が優れていると主張した。2019年、米国統計協会は、有意性の普遍的な閾値としてp<0.05を避けるよう注意喚起するガイダンスを発表した。主要なジャーナル(JAMA、Lancetなど)は現在、効果量を要求している。ICMJE勧告(2023年更新)は、効果量と不確実性の報告を強調している。この変化は、再現性の危機からの教訓を反映している:p<0.05で発表された多くの結果は、効果量が小さかったために再現に失敗したが、これはp値だけでは隠されていた事実である。
使うべき場面
観察研究、実験、調査、臨床試験、メタアナリシスなど、すべての経験的研究で統計を透明性をもって報告する。これは一次分析と感度分析/サブグループ分析に適用される。仮説検定のない記述研究(例:記述調査)では、記述統計、範囲、および割合を明確に報告する。質的研究には統計報告は適用されないが、サンプルと分析方法を透明性をもって記述する。モデリングまたはシミュレーション研究では、主要な結果の周りの効果量と信頼区間を報告する。
限界と注意点
- スペースを必要とする:包括的な統計報告(効果量、信頼区間、p値、仮定)は、p値のみよりも多くのスペースを必要とする;ジャーナルの制限により、他のコンテンツが圧迫される可能性がある。
- 複雑性:効果量に慣れていない読者は、包括的な報告の解釈が難しいと感じるかもしれない;教育が必要である。
- 解釈の曖昧さ:「意味のある」効果量の大きさは文脈に依存する(d=0.2は一部の分野では小さいが、他の分野では大きい);普遍的な基準はない。
- 多重比較は偽陽性を増加させる:補正を行っても、多くの仮説検定は第一種の過誤を増加させる;包括的な報告はこの問題を解決するのではなく、文書化するだけである。
出典に示された条件は、独立した科学的レビューや分析エンジンによる検証の代わりにはなりません。
強み
- 大きさの解釈を可能にする:読者は「有意な差」だけでなく「差はd=0.47(中程度の効果)」を見ることができ、実質的な有意性を判断する上で重要である。
- メタアナリシスを容易にする:効果量により研究を組み合わせることが可能になる;p値だけではメタアナリシスには不十分である。
- p-ハッキングバイアスを減少させる:効果量が報告されると、読者はp<0.05であっても効果が些細であることを確認でき、研究者の自由度を減らすインセンティブが減少する。
- 再現性を向上させる:信頼区間と仮定のチェックにより、読者は結果の感度と妥当性を評価できる。
- 事後的な検出力分析を支援する:報告された効果量により統計的検出力の計算が可能になり、検出力不足の研究が偽の陰性結果を引き起こしたかどうかを明らかにする。
応用
- 研究論文の執筆:分析前に統計報告を計画する;p値と並んで効果量と信頼区間を報告する;仮説ごとに結果を整理する。
- メタアナリシスの実施:一次研究から抽出された効果量によりプールが可能になる;p値のみを報告する論文は含めるのが難しい。
- 原稿のレビュー:統計が包括的に報告されているか確認する;欠落している場合は効果量と信頼区間を要求する。
- 研究助成金の申請準備:統計的検出力分析(効果量を使用する)は、NIHおよびその他の助成金審査で標準的である;効果量報告への精通を示す。
使い方
使い方
統計は次の順序と形式で報告する:(1)記述統計:各群の平均±標準偏差(または歪んだデータの場合は中央値と四分位範囲)。例:「治療群(M=45.2, SD=8.3)対対照群(M=42.1, SD=7.9)。」(2)統計的検定名と結果:検定(t検定、カイ二乗検定、ANOVAなど)、検定統計量、自由度、p値、および効果量を指定する。例:「t(98)=2.34, p=.021, d=0.47。」(3)信頼区間:差または効果量の95%信頼区間を含める。例:「95% CI [0.52, 3.21]。」(4)効果量:検定に適した効果量を報告する。連続的なアウトカムの場合:Cohenのd(標準化平均差)、Pearsonのr(相関)、またはイータ二乗(説明される分散の割合)。二値的なアウトカムの場合:相対リスク、オッズ比、治療必要数。平均値の比較の場合:単位付きの絶対差を報告する。(5)検定された仮定:仮定が満たされたかどうかを述べる(例:「正規性はShapiro-Wilk検定、W=0.98, p=.45で評価され、データはおおよそ正規分布していることを示唆した。」)。(6)多重比較の補正:複数の検定を行う場合は、使用した補正方法(Bonferroni、False Discovery Rateなど)と調整後のp値閾値を報告する。例:「Bonferroni補正後のα=0.05/3=0.017。」(7)欠損データ:欠損データの処理方法(削除、補完法)を記述する。結果は仮説または研究課題ごとに整理し、関連する統計量をグループ化する。詳細な数値結果には表を使用する。
質の高い統計報告はこれらの基準を満たす:(1)完全性:p値、効果量、信頼区間がすべて報告されていること;裸のp値がないこと。(2)正確性:値が正しいこと、および方法で記述された分析と一致していること。(3)透明性:統計的方法が明示的に名前が付けられていること(例:「t検定」だけでなく「ペアt検定」);仮定が考慮されていること。(4)効果量:検定に適した効果量が選択されていること(2群比較にはd、相関にはrなど)。(5)精度:値が適切な有効数字で報告されていること(p値は小数点以下2~3桁、例:p=.021、p<.05ではない)。(6)一貫性:類似の結果は同一形式で報告されていること;一連のt検定はすべてt、df、p、およびdを報告する。(7)明瞭性:結果は、導入部で述べられた研究課題の順序で、文章または表で提示される。読者は表を見て、本文と照合することで結果を検証できるべきである。
査読者と編集者は、透明性と分野標準への準拠のために統計報告をチェックする。欠落した効果量、有意性の主張の裏付けがない場合、または統計の誤報告は、修正要求を引き起こす。効果量と信頼区間が報告されると、出版バイアスが減少する:査読者と読者は、p<0.05かどうかだけでなく、結果の真の大きさを評価できる。メタアナリシスでは、すべての研究からの効果量がプールされる;効果量なしのp値のみを報告する論文は除外されるか、事後的に他の統計量から推定される必要があり、誤差が生じる。著者にとって、透明性のある統計報告は再現性を高め、適切な統合を可能にし、厳密性を示す。
よくある落とし穴
- 効果量なしのp値の報告:「p=.021」は結果が「有意」であることを読者に伝えるが、効果が些細(例:d=0.1)か大きい(例:d=1.5)かは伝えない。常に効果量を報告すること。
- 統計的有意性と実質的有意性の混同:p=.001は帰無仮説に対する強い証拠を示すが、効果が臨床的に無関係(例:血圧の0.1 mmHgの違い)であれば、実質的に有意ではない。両方を議論すること。
- p値の選択的報告:有意な結果のみを報告し、有意でない結果を隠す(p-ハッキング)。仮説を事前登録し、すべての検定を報告すること、有意かどうかにかかわらず。
- 「有意への傾向」をp=.10、「有意に近づいている」をp=.06と報告すること:これらは非公式で誤解を招く。結果が閾値を超えるか超えないかのどちらかである;有意でない結果を正直に議論すること。
- 信頼区間の誤報告:95%信頼区間は、データが95%含まれる範囲ではない;真のパラメータが含まれると95%確信する範囲である。混乱を避けるために正しく説明すること。
- ベースライン記述統計の省略:グループが比較可能であったか、サンプルが代表的であるかを読者が評価できない場合、人口統計学的/ベースラインデータが報告されていない。
よくある質問
どのような効果量を報告すべきか?
統計的検定に適した効果量を選択する:t検定(2群比較)の場合:Cohenのd(標準化平均差)または単位付きの生の差。ANOVAの場合:イータ二乗(η²)または部分イータ二乗(η²p)。相関の場合:Pearsonのrまたはr二乗(R²)。二値アウトカム(例:治療成功)の場合:オッズ比(OR)、相対リスク(RR)、または絶対リスク差。ペアデータの場合:CohenのdまたはHedgeのg(dに類似、メタアナリシスで使用)。不明な場合は、分野固有の基準または報告ガイドライン(EQUATOR Network)を参照する。
p値のみの報告で十分か?
いいえ。p値だけでは不十分である。なぜなら、効果の大きさを教えてくれないからである。p=.001は、些細な効果(サンプルサイズが大きい場合)または巨大な効果(サンプルサイズが小さい場合)を反映することがある。常に効果量と95%信頼区間を報告すること。p値 + 効果量 + 信頼区間の組み合わせにより、読者は全体像を把握できる。
多くの検定があり、いくつかのp値が「有意に近い」(例:p=.06)場合はどうすればよいか?
正直に報告すること。p=.06はα=0.05では統計的に有意ではない;「傾向」と呼んでも有意にはならない。有意でない結果が文脈で何を意味するかを議論すること(検出力不足?真の帰無仮説効果?)。複数の検定を行った場合は、第一種の過誤をどのように制御したか(Bonferroni、FDRなど)を報告すること。確認的分析と探索的分析を区別するために、仮説を事前登録すること。
p値には何桁の小数点を使用すべきか?
小数点以下2~3桁が標準である(例:p=.021、p<.001)。p=.050000と報告しないこと。統計ソフトウェアで正確な値が得られる場合は、不等号(p<.05)よりも正確なp値(p=.021)を優先すること。「p<.001」は、ソフトウェアがより小さい値を丸める場合、または検定が一標本で非常に小さい閾値の場合にのみ使用すること。
95%信頼区間または他の信頼水準を報告すべきか?
分野に異なる慣習がない限り、95%信頼区間を使用する(一部の古い医学文献では90%または99%が使用された)。95%信頼区間は、α=0.05と一致するため標準である。90%信頼区間を報告する場合は、「CI90%」と明示的に記載して混乱を避けること。同じ論文で信頼水準を混在させないこと。
関連する手法
参考文献
Cumming, G. (2013). The new statistics: Why and how. Psychological Science, 25(1), 7–29.
DOI 文献を開くコピーしました。Fidler, F., Thomason, N., Cumming, G., Finch, S., & Leeman, J. (2005). Editors can lead researchers to confidence intervals, but can't make them think: Statistical reform lessons from medicine. Psychological Science, 15(2), 119–126.
DOI 文献を開くコピーしました。International Committee of Medical Journal Editors (2023). Recommendations for the Conduct, Reporting, Editing, and Publication of Scholarly Work in Medical Journals.
出版物の文献を開くコピーしました。