Statistische Berichtsstandards: Transparente Berichterstattung von Analysen
- Eingeführt von
- Statistical and methodological literature; emphasized by Cumming (2013), ICMJE, and replication crisis discussions
- Jahr
- 2005
- Typ
- Guideline
- Familie
- results-reporting
Dieser Text ist eine maschinelle Übersetzung und wurde noch nicht geprüft. Original auf Englisch lesen
Was leistet sie?
Die transparente Berichterstattung statistischer Ergebnisse – einschließlich Effektstärken, Konfidenzintervallen, p-Werten und Annahmen – ist für wissenschaftliche Integrität und Reproduzierbarkeit unerlässlich.
Viele veröffentlichte Studien berichten p-Werte isoliert ohne Effektstärken oder Konfidenzintervalle, was es den Lesern unmöglich macht, die Größenordnung der Befunde zu beurteilen. Statistische Berichtsstandards, betont von Cumming (2013), der American Statistical Association und der ICMJE, fordern Effektstärken, Konfidenzintervalle und eine Diskussion der Unsicherheit. Dies ermöglicht es den Lesern zu beurteilen, ob Befunde praktisch bedeutsam (nicht nur statistisch signifikant) sind, und Effektstärken über Studien hinweg in Meta-Analysen zu vergleichen. Schlechte statistische Berichterstattung verschwendet Forschung und verhindert eine angemessene Synthese von Evidenz.
Die Intuition hinter der Methode
P-Werte werden weitgehend missverstanden: Ein p<0,05 bedeutet NICHT, dass das Ergebnis 'wichtig' ist oder dass die Nullhypothese 'falsch' ist. Es bedeutet lediglich, dass die beobachteten Daten weniger als 5 % der Zeit auftreten würden, wenn die Nullhypothese wahr wäre. Ein trivialer Effekt (z. B. 0,1 % Unterschied) kann bei einer großen Stichprobe einen p-Wert von <0,001 haben; umgekehrt erreicht ein großer klinisch wichtiger Effekt (z. B. 50 % Reduktion der Symptome) bei einer kleinen Stichprobe möglicherweise keinen p-Wert von <0,05. Effektstärken und Konfidenzintervalle adressieren dies: Sie quantifizieren die Größe des Effekts und den Bereich plausibler Werte. Ein 95 %-Konfidenzintervall von [2,1, 2,3] besagt, dass wir zu 95 % sicher sind, dass der wahre Effekt zwischen 2,1 und 2,3 liegt; wenn das Konfidenzintervall Null oder einen Null-Effekt-Wert einschließt, ist das Ergebnis nicht statistisch signifikant. Diese zusätzlichen Informationen – die allein durch p-Werte fehlen – ermöglichen es den Lesern, Befunde sinnvoll zu interpretieren.
Geschichte
Statistische Berichtsstandards entwickelten sich aus einer jahrzehntelangen Kritik am Missbrauch von p-Werten in der Wissenschaft. 1992 forderte die Zeitschrift 'Epidemiology' Konfidenzintervalle neben p-Werten; andere Zeitschriften folgten. Cumming's (2013) einflussreicher Artikel 'The New Statistics' plädierte für Effektstärken und Konfidenzintervalle als überlegen gegenüber p-Wert-Schwellenwerten. 2019 veröffentlichte die American Statistical Association Leitlinien, die vor p<0,05 als universellem Schwellenwert für 'Signifikanz' warnten. Große Zeitschriften (JAMA, Lancet usw.) verlangen inzwischen Effektstärken. Die ICMJE-Empfehlungen (aktualisiert 2023) betonen die Berichterstattung von Effektstärken und Unsicherheit. Dieser Wandel spiegelt Lektionen aus der Replikationskrise wider: Viele veröffentlichte Befunde mit p<0,05 konnten nicht repliziert werden, da die Effektstärken klein waren, eine Tatsache, die durch p-Werte allein verborgen wurde.
Wann wird sie eingesetzt?
Berichten Sie Statistiken transparent in allen empirischen Forschungsarbeiten: Beobachtungsstudien, Experimente, Umfragen, klinische Studien, Meta-Analysen. Dies gilt für Primäranalysen sowie für Sensitivitäts-/Subgruppenanalysen. Für deskriptive Studien ohne Hypothesentests (z. B. deskriptive Umfragen) berichten Sie deskriptive Statistiken, Bereiche und Proportionen klar. Für qualitative Forschung gilt die statistische Berichterstattung nicht, beschreiben Sie jedoch die Stichprobe und die Analysemethode transparent. Für Modellierungs- oder Simulationsstudien berichten Sie Effektstärken und Konfidenzintervalle um die wichtigsten Ergebnisse.
Grenzen und Hinweise
- Benötigt Platz: Eine umfassende statistische Berichterstattung (Effektstärke, KI, p-Wert, Annahmen) benötigt mehr Platz als nur 'p<0,001'; Zeitschriftenbeschränkungen können andere Inhalte verdrängen.
- Komplexität: Leser, die mit Effektstärken nicht vertraut sind, finden möglicherweise eine umfassende Berichterstattung schwer zu interpretieren; Bildung ist erforderlich.
- Interpretationsambiguität: Eine 'bedeutsame' Effektstärke hängt vom Kontext ab (d=0,2 ist in einigen Bereichen klein, in anderen groß); es gibt keinen universellen Standard.
- Multiple Vergleiche erhöhen falsch positive Ergebnisse: Selbst mit Korrekturen erhöht eine Vielzahl von Hypothesentests das Typ-I-Fehler-Risiko; eine umfassende Berichterstattung löst dieses Problem nicht, sondern dokumentiert es nur.
Die Bedingungen der Quelle ersetzen weder eine unabhängige wissenschaftliche Prüfung noch die Validierung durch eine Analyse-Engine.
Stärken
- Ermöglicht die Interpretation der Größenordnung: Leser sehen nicht nur 'signifikanten Unterschied', sondern 'der Unterschied beträgt d=0,47' (mittlere Effektstärke), was für die Beurteilung der praktischen Signifikanz entscheidend ist.
- Erleichtert Meta-Analysen: Effektstärken ermöglichen die Kombination von Studien; p-Werte allein sind für Meta-Analysen nicht ausreichend.
- Reduziert den p-Hacking-Bias: Wenn Effektstärken berichtet werden, können Leser erkennen, wann Effekte trotz p<0,05 trivial sind, was den Anreiz für Forschungsfreiheitsgrade verringert.
- Verbessert die Reproduzierbarkeit: Konfidenzintervalle und Annahmenprüfungen ermöglichen es den Lesern, die Sensitivität und Validität der Befunde zu bewerten.
- Unterstützt nachträgliche Power-Analysen: Berichte über Effektstärken ermöglichen die Berechnung der statistischen Power und zeigen, ob unterpowerte Studien zu Nullbefunden führten.
Anwendungen
- Verfassen eines Forschungsartikels: Planen Sie die statistische Berichterstattung vor der Analyse; berichten Sie Effektstärken und KIs neben p-Werten; organisieren Sie Ergebnisse nach Hypothese.
- Durchführung einer Meta-Analyse: Effektstärken, die aus Primärstudien extrahiert werden, ermöglichen die Zusammenfassung; Arbeiten, die nur p-Werte berichten, sind schwerer einzubeziehen.
- Überprüfung eines Manuskripts: Prüfen Sie, ob Statistiken umfassend berichtet werden; fordern Sie Effektstärken und KIs an, wenn sie fehlen.
- Vorbereitung eines Forschungsantrags: Statistische Power-Analysen (die Effektstärken verwenden) sind bei NIH- und anderen Gutachten Standard; demonstrieren Sie Vertrautheit mit der Berichterstattung von Effektstärken.
So funktioniert es
So funktioniert es
Statistiken in dieser Reihenfolge und diesem Format berichten: (1) Deskriptive Statistik: Mittelwert ± Standardabweichung (oder Median und Interquartilsabstand für schiefe Daten) für jede Gruppe. Beispiel: 'Behandlungsgruppe (M=45,2, SD=8,3) vs. Kontrollgruppe (M=42,1, SD=7,9).' (2) Name und Ergebnis des statistischen Tests: Geben Sie den Test (t-Test, Chi-Quadrat, ANOVA usw.), die Teststatistik, die Freiheitsgrade, den p-Wert und die Effektstärke an. Beispiel: 't(98)=2,34, p=.021, d=0,47.' (3) Konfidenzintervall: Fügen Sie das 95 %-KI für die Differenz oder Effektstärke hinzu. Beispiel: '95 %-KI [0,52, 3,21].' (4) Effektstärke: Berichten Sie die geeignete Effektstärke für Ihren Test. Für kontinuierliche Ergebnisse: Cohen's d (standardisierte Mittelwertdifferenz), Pearson's r (Korrelation) oder Eta-Quadrat (Anteil der erklärten Varianz). Für binäre Ergebnisse: relatives Risiko, Odds Ratio, Anzahl benötigter Behandlungen. Für Mittelwertvergleiche: Berichten Sie die absolute Differenz mit Einheiten. (5) Getestete Annahmen: Geben Sie an, ob die Annahmen erfüllt waren (z. B. 'Normalität wurde mit dem Shapiro-Wilk-Test bewertet, W=0,98, p=.45, was auf annähernd normale Daten hindeutet'). (6) Korrekturen für multiple Vergleiche: Wenn mehrere Tests durchgeführt werden, berichten Sie die verwendete Korrekturmethode (Bonferroni, False Discovery Rate usw.) und den angepassten p-Wert-Schwellenwert. Beispiel: 'Bonferroni-korrigiertes α=0,05/3=0,017.' (7) Fehlende Daten: Beschreiben Sie, wie fehlende Daten behandelt wurden (Löschung, Imputationsmethode). Organisieren Sie die Ergebnisse nach Hypothese oder Forschungsfrage; gruppieren Sie zusammengehörige Statistiken. Verwenden Sie Tabellen für detaillierte numerische Ergebnisse.
Qualitativ hochwertige statistische Berichterstattung erfüllt diese Kriterien: (1) Vollständigkeit: p-Werte, Effektstärken und Konfidenzintervalle werden alle berichtet; keine isolierten p-Werte. (2) Genauigkeit: Die Werte sind korrekt und konsistent mit der in den Methoden beschriebenen Analyse. (3) Transparenz: Die statistische Methode wird explizit genannt (z. B. 'gepaarter t-Test' nicht nur 't-Test'); Annahmen werden behandelt. (4) Effektstärke: Die geeignete Effektstärke für den Test wird gewählt (d für Zwei-Gruppen-Vergleiche, r für Korrelationen usw.). (5) Präzision: Werte werden mit angemessenen signifikanten Stellen berichtet (p-Werte auf 2–3 Dezimalstellen, z. B. p=.021, nicht p<.05). (6) Konsistenz: Ähnliche Ergebnisse werden identisch formatiert; eine Reihe von t-Tests berichtet alle t, df, p und d. (7) Klarheit: Ergebnisse werden in Prosa oder Tabellen in der Reihenfolge der in der Einleitung genannten Forschungsfragen präsentiert. Leser sollten in der Lage sein, Ergebnisse zu überprüfen, indem sie Tabellen einsehen und mit dem Text abgleichen.
Gutachter und Herausgeber prüfen die statistische Berichterstattung auf Transparenz und Einhaltung der Feldstandards. Fehlende Effektstärken, unbegründete Behauptungen von 'Signifikanz' oder falsch berichtete Statistiken lösen Überarbeitungsaufforderungen aus. Publikationsbias wird reduziert, wenn Effektstärken und Konfidenzintervalle berichtet werden: Gutachter und Leser können die tatsächliche Größe der Befunde beurteilen, nicht nur, ob p<0,05. In Meta-Analysen werden Effektstärken aus allen Studien zusammengefasst; Studien, die nur p-Werte ohne Effektstärken berichten, müssen ausgeschlossen oder nachträglich aus anderen Statistiken geschätzt werden, was zu Fehlern führt. Für Autoren erhöht die transparente statistische Berichterstattung die Reproduzierbarkeit, ermöglicht eine ordnungsgemäße Synthese und demonstriert wissenschaftliche Sorgfalt.
Häufige Fallstricke
- Berichterstattung von p-Werten ohne Effektstärken: 'p=.021' sagt den Lesern, dass das Ergebnis 'signifikant' ist, aber nicht, ob der Effekt trivial (z. B. d=0,1) oder groß (d=1,5) ist. Berichten Sie immer die Effektstärke.
- Verwechslung von statistischer und praktischer Signifikanz: p=.001 zeigt starke Evidenz gegen die Nullhypothese, aber wenn der Effekt klinisch irrelevant ist (z. B. 0,1 mmHg Unterschied im Blutdruck), ist er nicht praktisch signifikant. Diskutieren Sie beides.
- Cherry-Picking von p-Werten: Nur den p-Wert berichten, der <0,05 ist, während nicht signifikante Ergebnisse versteckt werden (p-Hacking). Registrieren Sie Hypothesen im Voraus und berichten Sie alle Tests, ob signifikant oder nicht.
- Berichterstattung von 'Trend zur Signifikanz' für p=.10 oder 'nahezu signifikant' für p=.06: Diese sind informell und irreführend. Entweder erfüllt das Ergebnis Ihren Schwellenwert oder nicht; diskutieren Sie nicht signifikante Ergebnisse ehrlich.
- Falsche Berichterstattung von Konfidenzintervallen: Ein 95 %-KI ist NICHT der Bereich, der 95 % der Daten enthält; es ist der Bereich, von dem wir zu 95 % sicher sind, dass er den wahren Parameter enthält. Erklären Sie es korrekt, um Verwirrung zu vermeiden.
- Weglassen deskriptiver Basisstatistiken: Leser können nicht beurteilen, ob Gruppen vergleichbar waren oder Stichproben repräsentativ sind, wenn demografische/Basisdaten nicht berichtet werden.
Häufig gestellte Fragen
Welche Effektstärke sollte ich berichten?
Wählen Sie die Effektstärke, die zu Ihrem statistischen Test passt: Für t-Tests (Zwei-Gruppen-Vergleich): Cohen's d (standardisierte Mittelwertdifferenz) oder die Rohdifferenz mit Einheiten. Für ANOVA: Eta-Quadrat (η²) oder partielles Eta-Quadrat (η²p). Für Korrelation: Pearson's r oder r-Quadrat (R²). Für binäre Ergebnisse (z. B. Behandlungserfolg): Odds Ratio (OR), relatives Risiko (RR) oder absolute Risikodifferenz. Für gepaarte Daten: Cohen's d oder Hedge's g (ähnlich wie d, in Meta-Analysen verwendet). Im Zweifelsfall konsultieren Sie fachspezifische Standards oder Berichterstattungrichtlinien (EQUATOR Network).
Reicht es aus, nur den p-Wert zu berichten?
Nein. Der p-Wert allein ist unzureichend, da er Ihnen nicht die Größe des Effekts mitteilt. Ein p=.001 kann einen trivialen Effekt (bei großer Stichprobe) oder einen riesigen Effekt (bei kleiner Stichprobe) widerspiegeln. Berichten Sie immer die Effektstärke und das 95 %-KI. Die Kombination aus p-Wert + Effektstärke + KI gibt den Lesern das vollständige Bild.
Was ist, wenn ich viele Tests habe und mehrere p-Werte 'nahe an der Signifikanz' liegen (z. B. p=.06)?
Berichten Sie sie ehrlich. Ein p=.06 ist bei α=0,05 nicht statistisch signifikant; es wird nicht signifikant, indem man es als 'Trend' bezeichnet. Diskutieren Sie, was das nicht signifikante Ergebnis im Kontext bedeutet (mangelnde Power? wahrer Null-Effekt?). Wenn Sie mehrere Tests durchgeführt haben, berichten Sie, wie Sie den Typ-I-Fehler kontrolliert haben (Bonferroni, FDR usw.). Registrieren Sie Hypothesen im Voraus, um konfirmatorische von explorativen Analysen zu unterscheiden.
Wie viele Dezimalstellen sollte ich für p-Werte verwenden?
Zwei bis drei Dezimalstellen sind Standard (z. B. p=.021, p<.001). Berichten Sie nicht p=.050000. Exakte p-Werte werden Ungleichheiten vorgezogen (p=.021 statt p<.05), wenn der exakte Wert aus Ihrer Statistiksoftware verfügbar ist. Verwenden Sie 'p<.001' nur, wenn die Software kleinere Werte rundet oder wenn der Test einseitig mit einem sehr kleinen Schwellenwert ist.
Sollte ich 95 % KI oder andere Konfidenzniveaus berichten?
Verwenden Sie 95 % KI, es sei denn, Ihr Fachgebiet hat eine andere Konvention (ältere medizinische Literatur verwendete 90 % oder 99 %). Das 95 %-KI ist der Standard, da es mit α=0,05 übereinstimmt. Wenn Sie ein 90 %-KI berichten, geben Sie explizit 'KI90 %' an, um Verwirrung zu vermeiden. Mischen Sie keine Konfidenzniveaus im selben Artikel.
Verwandte Methoden
Quellen
Cumming, G. (2013). The new statistics: Why and how. Psychological Science, 25(1), 7–29.
DOI-Referenz öffnenKopiert.Fidler, F., Thomason, N., Cumming, G., Finch, S., & Leeman, J. (2005). Editors can lead researchers to confidence intervals, but can't make them think: Statistical reform lessons from medicine. Psychological Science, 15(2), 119–126.
DOI-Referenz öffnenKopiert.International Committee of Medical Journal Editors (2023). Recommendations for the Conduct, Reporting, Editing, and Publication of Scholarly Work in Medical Journals.
Publikationsreferenz öffnenKopiert.