Zum Inhalt springen
Zurück zu den Suchergebnissen

Pretest-Posttest-Studiendesign

Eingeführt von
Donald T. Campbell and Julian C. Stanley
Jahr
1963 (formalized in Campbell & Stanley)
Typ
Experimental / quasi-experimental research design
Familie
Experimental design

Dieser Text ist eine maschinelle Übersetzung und wurde noch nicht geprüft. Original auf Englisch lesen

Schriftgröße

Was leistet sie?

Das Pretest-Posttest-Studiendesign misst die Teilnehmer hinsichtlich der Ergebnisvariable vor und nach der Behandlung, typischerweise mit zufälliger Zuweisung zu Behandlungs- und Kontrollgruppen.

Die Differenz zwischen Prä- und Post-Scores isoliert den Behandlungseffekt von der Basisvarianz, was dieses Design zu einem der am weitesten verbreiteten Rahmenwerke in experimenteller und quasi-experimenteller Forschung in den Bereichen Bildung, Psychologie, Medizin und Sozialwissenschaften macht.

Die Intuition hinter der Methode

Stellen Sie sich vor, Sie möchten wissen, ob eine sechswöchige Leseförderung die Lesefertigkeitswerte verbessert. Ein bloßes Messen der Werte nach dem Programm ist unzuverlässig – die Werte könnten ohnehin aufgrund von Reifung oder saisonalen Effekten gestiegen sein. Das Pretest-Posttest-Design fügt eine Messung vor Beginn des Programms hinzu: Nun vergleichen Sie, wie stark sich jede Gruppe verändert hat, nicht, wo sie gelandet ist. Mit einer Kontrollgruppe hebt sich jede Veränderung, die beide Gruppen gemeinsam haben (z. B. natürliches Wachstum), auf, sodass ein Schätzwert für den einzigartigen Beitrag des Programms übrig bleibt. Hinzufügen von zufälliger Zuweisung wertet dies zu einem echten Experiment mit starker kausaler Begründung auf.

Geschichte

Das Pretest-Posttest-Design erhielt eine systematische methodische Behandlung durch Donald Campbell und Julian Stanleys Monographie Experimental and Quasi-Experimental Designs for Research von 1963, die die Notation (O1 X O2) einführte und Bedrohungen der internen Validität katalogisierte. Campbell und Stanley unterschieden das echte Pretest-Posttest-Kontrollgruppendesign (mit Randomisierung) vom quasi-experimentellen Ein-Gruppen-Pretest-Posttest-Design und identifizierten die Anfälligkeit letzteren für History-, Maturation- und Testing-Effekte. Shadish, Cook und Campbell aktualisierten und erweiterten den Rahmen im Jahr 2002 und festigten die Position des Designs als Eckpfeiler der angewandten Forschungsmethodik.

Wann wird sie eingesetzt?

Verwenden Sie ein Pretest-Posttest-Design, wenn Sie Veränderungen im Zeitverlauf aufgrund einer Intervention bewerten müssen und individuelle Basisunterschiede wahrscheinlich Rauschen einführen. Es ist geeignet, wenn eine zufällige Zuweisung machbar ist (echtes Experiment) oder wenn Pretest-Werte für die Kontrolle vorbestehender Gruppenunterschiede in quasi-experimentellen Settings unerlässlich sind. Verwenden Sie es nicht, wenn eine einzelne Post-only-Messung ausreicht (z. B. Varianz der Ergebnisse über Personen hinweg vernachlässigbar ist), wenn das Pretesting selbst die Teilnehmer wahrscheinlich für die Intervention sensibilisiert (Testing-Effekt – erwägen Sie stattdessen ein Solomon-Viergruppen-Design) oder wenn nur ein Zeitpunkt der Datenerfassung logistisch möglich ist.

Grenzen und Hinweise

  • Pretesting kann Teilnehmer für den Behandlungsinhalt oder die Hypothese des Forschers sensibilisieren, was die Post-Scores aufbläht oder verringert (Testing-Effekt).
  • Mortalität/Ausfälle zwischen Pretest und Posttest können die Ergebnisse verzerren, wenn der Ausfall mit der Behandlungsbedingung oder den Basiswerten zusammenhängt.
  • Ohne Randomisierung bleibt Selektionsbias bestehen: Vorbestehende Unterschiede zwischen den Gruppen werden möglicherweise nicht allein durch den Pretest-Score erfasst.
  • Regression zur Mitte: Gruppen, die aufgrund extremer Pretest-Werte ausgewählt wurden, werden im Posttest unabhängig von der Behandlung näher am Mittelwert liegen.

Die Bedingungen der Quelle ersetzen weder eine unabhängige wissenschaftliche Prüfung noch die Validierung durch eine Analyse-Engine.

Stärken

  • Kontrolliert für vorbestehende individuelle Unterschiede und erhöht die statistische Power im Vergleich zu Posttest-only-Designs.
  • Ermöglicht die direkte Messung von Veränderungen, was oft die inhaltlich bedeutsame Größe ist (z. B. Lerngewinn, Symptomreduktion).
  • Weit verbreitet in verschiedenen Disziplinen und kompatibel mit vielen analytischen Rahmenwerken (ANCOVA, ANOVA, Mehrebenenmodellierung).
  • In Kombination mit Randomisierung liefert es starke kausale Evidenz für den Behandlungseffekt.
  • Prä- und Post-Scores ermöglichen die Erkennung differentieller Veränderungen über Untergruppen hinweg (Moderationsanalyse).

Anwendungen

  • Bewertung von Bildungsinterventionen – Messung von Lerngewinnen vor und nach einem Lehrplan, einem Tutorenprogramm oder einer Unterrichtstechnologie.
  • Klinische und gesundheitswissenschaftliche Forschung – Bewertung von Symptomreduktion, Funktionsverbesserung oder Verhaltensänderung nach einer medizinischen oder psychologischen Behandlung.
  • Studien zu organisationalen Trainings – Messung von Wissens-, Fähigkeiten- oder Einstellungsänderungen bei Mitarbeitern vor und nach einem Trainingsprogramm.
  • Evaluierung öffentlicher Politik – Schätzung der Auswirkung einer Politikänderung oder eines sozialen Programms auf Ergebnisse wie Beschäftigung, Gesundheit oder akademische Leistungen.
  • Sport- und Trainingswissenschaften – Verfolgung von Fitness-, Leistungs- oder psychologischen Indikatoren über eine strukturierte Trainingsintervention.

So funktioniert es

So funktioniert es

1

Alle Teilnehmer absolvieren eine Messung der Ergebnisvariable (das Pretest, O1) vor Einführung jeglicher Behandlung. Diese Basislinie dient drei Zwecken: Sie bestätigt die Äquivalenz der Gruppen zu Beginn (insbesondere in Kombination mit Randomisierung), ermöglicht die Berechnung von Veränderungswerten und erhöht die statistische Power durch Kontrolle individueller Unterschiede.

2

Die Teilnehmer werden zufällig der Behandlungsgruppe oder der Kontroll- (oder Vergleichs-) Gruppe zugewiesen. Zufällige Zuweisung unterscheidet ein echtes Pretest-Posttest-Experiment von einer quasi-experimentellen Variante. Ohne Randomisierung bedrohen vorbestehende Unterschiede zwischen den Gruppen die kausale Inferenz, und das Design ist quasi-experimentell.

3

Die Behandlungsgruppe erhält die Intervention, während die Kontrollgruppe entweder keine Intervention, ein Placebo oder die übliche Behandlung erhält. Die Dauer und Treue der Behandlungsdurchführung müssen standardisiert und dokumentiert werden, um die interne Validität zu gewährleisten.

4

Nach der Interventionsperiode absolvieren alle Teilnehmer erneut dieselbe Ergebnisermessung (das Posttest, O2). Das Intervall zwischen Pretest und Posttest sollte lang genug sein, damit die Behandlung wirken kann, aber nicht so lang, dass historische Ereignisse oder Ausfälle die Ergebnisse stark verzerren.

5

Die primäre Analyse berechnet die Veränderung vom Pretest zum Posttest für jede Gruppe und testet, ob die Veränderung der Behandlungsgruppe signifikant größer ist als die der Kontrollgruppe. Gängige analytische Ansätze umfassen die Kovarianzanalyse (ANCOVA) mit dem Pretest als Kovariate, gepaarte t-Tests innerhalb jeder Gruppe oder gemischte Modelle für wiederholte Messungen (ANOVA).

Häufige Fallstricke

  • Analyse von Posttest-Werten ohne Anpassung an den Pretest – dies verwirft die vom Pretest gelieferten Informationen und reduziert die Power; verwenden Sie ANCOVA mit dem Pretest als Kovariate anstelle eines einfachen Posttest-Vergleichs.
  • Verwendung eines Pretest-Instruments, das nicht dasselbe Maß wie das Posttest ist, wodurch Veränderungswerte uninterpretierbar werden; beide Erhebungswellen müssen identische oder streng parallele Formen des Ergebnismaßes verwenden.
  • Ignorieren des Testing-Effekts in sensiblen Kontexten (z. B. Einstellungsumfragen, Wissenstests mit transparenten Fragen) – wenn Pretesting plausibel die Teilnehmer verändert, erwägen Sie ein Solomon-Viergruppen-Design.
  • Behandlung des Pretest-Posttest-Designs als automatisch kausal ohne Randomisierung – in quasi-experimentellen Versionen können unbeobachtete Störvariablen immer noch den beobachteten Veränderungsunterschied erklären.
  • Anwendung von Roh-Veränderungswerten (O2 - O1) als abhängige Variable in der Regression – dieser Ansatz hat bekannte psychometrische Probleme; ANCOVA oder residualisierte Veränderungswerte sind vorzuziehen.

Häufig gestellte Fragen

Sollte ich ANCOVA oder einen gepaarten t-Test zur Analyse von Pretest-Posttest-Daten verwenden?

ANCOVA mit dem Pretest als Kovariate wird im Allgemeinen für Vergleiche zwischen Gruppen bevorzugt, da sie die Pretest-Varianz aus dem Fehlervarianzterm entfernt, die Power erhöht und für etwaige verbleibende Basis-Ungleichgewichte korrigiert. Ein gepaarter t-Test innerhalb einer Gruppe ist für eine Ein-Gruppen-Prä-Post-Überprüfung geeignet, kann aber den Behandlungseffekt von Reifung oder Geschichte nicht isolieren. Vermeiden Sie die Verwendung von Roh-Veränderungswerten (Post minus Prä) als abhängige Variable in ANCOVA – geben Sie Pretest und Posttest als separate Variablen ein.

Was ist der Testing-Effekt und wann ist er relevant?

Der Testing-Effekt tritt auf, wenn die Durchführung des Pretests selbst die Teilnehmer verändert – zum Beispiel, indem er sie auf die wertgeschätzten Ergebnisse aufmerksam macht, Testfragen übt oder die Angst beim Posttest reduziert. Er ist am relevantesten, wenn das Ergebnis-Instrument ein Wissenstest mit transparentem Inhalt ist oder wenn die Teilnehmer wahrscheinlich ihre Pretest-Antworten vor dem Posttest reflektieren oder diskutieren. Wenn dies ein ernstes Bedenken ist, fügen Sie zwei nicht vorgetestete Gruppen hinzu, indem Sie das Solomon-Viergruppen-Design verwenden.

Ist das Pretest-Posttest-Design quasi-experimentell oder experimentell?

Es kann beides sein. Mit zufälliger Zuweisung zu Behandlungs- und Kontrollgruppen ist es ein echtes Experiment (das klassische Pretest-Posttest-Kontrollgruppendesign von Campbell & Stanley). Ohne Randomisierung – zum Beispiel, wenn intakte Klassen oder bestehende Gruppen verglichen werden – ist es ein quasi-experimentelles Design und unterliegt stärkeren Bedrohungen der internen Validität, einschließlich Selektionsbias.

Wie lang sollte das Intervall zwischen Pretest und Posttest sein?

Das Intervall sollte lang genug sein, damit die Intervention ihre erwartete Wirkung erzielt, aber nicht so lang, dass historische Effekte, Ausfälle oder entwicklungsbedingte Veränderungen, die nicht mit der Behandlung zusammenhängen, die Veränderungswerte schwer interpretierbar machen. Es gibt keine allgemeingültige Regel; das geeignete Intervall wird durch die zugrundeliegende Veränderungstheorie der Intervention und frühere Evidenz über den Zeitpunkt der Wirkung bestimmt.

Kann ich dem Pretest-Posttest-Design weitere Zeitpunkte hinzufügen?

Ja – das Hinzufügen einer oder mehrerer Folgeerhebungen ergibt ein Längsschnittdesign oder ein Design mit wiederholten Messungen, das zeigen kann, ob Behandlungseffekte anhalten, nachlassen oder wachsen. Diese Erweiterung wird manchmal als Pretest-Posttest-Follow-up-Design bezeichnet. Analytische Ansätze umfassen gemischte ANOVA oder Wachstumsmodellierung.

Verwandte Methoden

Quellen

  1. Campbell, D. T., & Stanley, J. C. (1963). Experimental and Quasi-Experimental Designs for Research. Rand McNally.

    Publikationsreferenz öffnen
    Kopiert.
  2. Shadish, W. R., Cook, T. D., & Campbell, D. T. (2002). Experimental and Quasi-Experimental Designs for Generalized Causal Inference. Houghton Mifflin.

    ISBN: 978-0395615560
    Kopiert.