Projekt eksperymentalny typu pretest-posttest
- Autor metody
- Donald T. Campbell and Julian C. Stanley
- Rok
- 1963 (formalized in Campbell & Stanley)
- Typ
- Experimental / quasi-experimental research design
- Rodzina
- Experimental design
Ten tekst jest tłumaczeniem maszynowym i nie został jeszcze sprawdzony. Przeczytaj oryginał po angielsku
Do czego służy?
Projekt eksperymentalny typu pretest-posttest mierzy uczestników pod kątem zmiennej wynikowej przed i po interwencji, zazwyczaj z losowym przydziałem do grup eksperymentalnej i kontrolnej.
Różnica między wynikami przed i po interwencji izoluje efekt interwencji od zmienności bazowej, co czyni ten projekt jednym z najszerzej stosowanych schematów w badaniach eksperymentalnych i quasi-eksperymentalnych w dziedzinie edukacji, psychologii, medycyny i nauk społecznych.
Intuicja stojąca za metodą
Wyobraźmy sobie, że chcemy wiedzieć, czy sześciotygodniowa interwencja czytelnicza poprawia wyniki w zakresie umiejętności czytania i pisania. Samo mierzenie wyników po programie jest niewiarygodne – wyniki mogłyby wzrosnąć z powodu dojrzewania lub efektów sezonowych. Projekt pretest-posttest dodaje pomiar przed rozpoczęciem programu: teraz porównujemy, jak bardzo każda grupa się zmieniła, a nie gdzie skończyła. Przy grupie kontrolnej wszelkie zmiany wspólne dla obu grup (np. naturalny rozwój) znoszą się, pozostawiając oszacowanie unikalnego wkładu programu. Dodanie losowego przydziału podnosi rangę tego projektu do prawdziwego eksperymentu z silnym uzasadnieniem przyczynowym.
Historia
Projekt pretest-posttest zyskał systematyczne ujęcie metodologiczne dzięki monografii Donalda Campbella i Juliana Stanleya z 1963 roku „Experimental and Quasi-Experimental Designs for Research”, która wprowadziła notację (O1 X O2) i skatalogowała zagrożenia dla trafności wewnętrznej. Campbell i Stanley odróżnili prawdziwy projekt z grupą kontrolną pretest-posttest (z randomizacją) od quasi-eksperymentalnego projektu z jedną grupą pretest-posttest, identyfikując podatność tej ostatniej na zagrożenia związane z historią, dojrzewaniem i testowaniem. Shadish, Cook i Campbell zaktualizowali i rozszerzyli tę ramę w 2002 roku, umacniając pozycję tego projektu jako kamienia węgielnego metodologii badań stosowanych.
Kiedy stosować
Należy zastosować projekt pretest-posttest, gdy trzeba ocenić zmianę w czasie spowodowaną interwencją, a indywidualne różnice bazowe prawdopodobnie wprowadzą szum. Jest on odpowiedni, gdy losowy przydział jest wykonalny (prawdziwy eksperyment) lub gdy wyniki pretestu są niezbędne do kontrolowania istniejących różnic grupowych w ustawieniach quasi-eksperymentalnych. Nie należy go stosować, gdy wystarczający jest pojedynczy pomiar posttestowy (np. wariancja wyników między osobami jest znikoma), gdy sam pretest może uwrażliwić uczestników na interwencję (zagrożenie testowaniem – rozważyć zamiast tego projekt czterogrupowy Solomona), lub gdy logistycznie możliwy jest tylko jeden punkt zbierania danych.
Ograniczenia i uwagi
- Pretestowanie może uwrażliwić uczestników na treść interwencji lub hipotezę badacza, zawyżając lub zaniżając wyniki posttestowe (zagrożenie testowaniem).
- Śmiertelność/atrycja między pretestem a posttestem może zniekształcić wyniki, jeśli rezygnacja jest związana z warunkiem interwencji lub wynikami bazowymi.
- Bez randomizacji pozostaje błąd selekcji: istniejące wcześniej różnice między grupami mogą nie zostać w pełni uchwycone przez sam wynik pretestu.
- Regresja do średniej: grupy wybrane na podstawie ekstremalnych wyników pretestowych będą miały tendencję do uzyskiwania wyników bliższych średniej w posttestcie, niezależnie od interwencji.
Warunki podane w źródle nie zastępują niezależnego przeglądu naukowego ani walidacji przez silnik analityczny.
Mocne strony
- Kontroluje istniejące wcześniej indywidualne różnice, zwiększając moc statystyczną w porównaniu do projektów posttest-only.
- Umożliwia bezpośredni pomiar zmiany, która jest często ilościowo istotna merytorycznie (np. przyrost wiedzy, redukcja objawów).
- Szeroko rozumiany w różnych dyscyplinach i kompatybilny z wieloma ramami analitycznymi (ANCOVA, ANOVA, modelowanie wielopoziomowe).
- W połączeniu z randomizacją zapewnia silne dowody przyczynowe na efekt interwencji.
- Wyniki pre- i posttestowe umożliwiają wykrycie zróżnicowanej zmiany w podgrupach (analiza moderacji).
Zastosowania
- Ocena interwencji edukacyjnych – pomiar przyrostu wiedzy przed i po wdrożeniu programu nauczania, korepetycji lub technologii instruktażowej.
- Badania kliniczne i zdrowotne – ocena redukcji objawów, poprawy funkcjonowania lub zmiany zachowania po interwencji medycznej lub psychologicznej.
- Badania szkoleń organizacyjnych – pomiar zmiany wiedzy, umiejętności lub postaw u pracowników przed i po programie szkoleniowym.
- Ocena polityki publicznej – szacowanie wpływu zmiany polityki lub programu społecznego na wyniki, takie jak zatrudnienie, zdrowie lub osiągnięcia akademickie.
- Nauki o sporcie i ćwiczeniach – śledzenie wskaźników sprawności, wydajności lub psychologicznych w ramach strukturalnej interwencji treningowej.
Jak to działa
Jak to działa
Wszyscy uczestnicy wypełniają pomiar zmiennej wynikowej (pretest, O1) przed wprowadzeniem jakiejkolwiek interwencji. Ta linia bazowa służy trzem celom: potwierdza równoważność grup na starcie (zwłaszcza w połączeniu z randomizacją), pozwala na obliczenie wyników zmian i zwiększa moc statystyczną poprzez kontrolę indywidualnych różnic.
Uczestnicy są losowo przydzielani do grupy eksperymentalnej lub kontrolnej (lub porównawczej). Losowy przydział odróżnia prawdziwy eksperyment pretest-posttest od wariantu quasi-eksperymentalnego. Bez randomizacji, istniejące wcześniej różnice między grupami zagrażają wnioskowaniu przyczynowemu, a projekt jest quasi-eksperymentalny.
Grupa eksperymentalna otrzymuje interwencję, podczas gdy grupa kontrolna otrzymuje albo brak interwencji, placebo, albo standardowe leczenie. Czas trwania i wierność realizacji interwencji muszą być standaryzowane i udokumentowane, aby zapewnić trafność wewnętrzną.
Po okresie interwencji wszyscy uczestnicy ponownie wypełniają ten sam pomiar wynikowy (posttest, O2). Odstęp między pretestem a posttestem powinien być wystarczająco długi, aby interwencja mogła zadziałać, ale nie na tyle długi, aby zdarzenia historyczne lub atrycja poważnie zakłóciły wyniki.
Główna analiza oblicza zmianę od pretestu do posttestu dla każdej grupy i testuje, czy zmiana w grupie eksperymentalnej jest istotnie większa niż zmiana w grupie kontrolnej. Powszechne podejścia analityczne obejmują analizę kowariancji (ANCOVA) z pretestem jako kowariatem, testy t dla prób zależnych w każdej grupie lub mieszane modele ANOVA z powtarzanymi pomiarami.
Częste pułapki
- Analiza wyników posttestowych bez uwzględnienia pretestu – odrzuca to informacje dostarczane przez pretest i zmniejsza moc; zamiast prostego porównania posttestowego należy użyć ANCOVA z pretestem jako kowariatem.
- Użycie instrumentu pretestowego, który nie jest tym samym pomiarem co posttest, co czyni wyniki zmian nieinterpretowalnymi; obie fale muszą używać identycznych lub ściśle równoległych form miary wynikowej.
- Ignorowanie zagrożenia testowaniem w kontekstach wrażliwych (np. ankiety postaw, testy wiedzy z przejrzystymi pytaniami) – jeśli pretestowanie prawdopodobnie zmienia uczestników, rozważ projekt czterogrupowy Solomona.
- Traktowanie projektu pretest-posttest jako automatycznie przyczynowego bez randomizacji – w wersjach quasi-eksperymentalnych niezmierzalne czynniki zakłócające nadal mogą wyjaśniać obserwowaną różnicę w zmianach.
- Stosowanie surowych wyników zmian (O2 - O1) jako zmiennej zależnej w regresji – podejście to ma znane problemy psychometryczne; preferowane są ANCOVA lub skorygowane wyniki zmian.
Najczęściej zadawane pytania
Czy powinienem użyć ANCOVA czy testu t dla prób zależnych do analizy danych pretest-posttest?
ANCOVA z pretestem jako kowariatem jest generalnie preferowana do porównań międzygrupowych, ponieważ usuwa wariancję pretestu z terminu błędu, zwiększając moc i korygując wszelkie pozostałe nierówności bazowe. Test t dla prób zależnych w jednej grupie jest odpowiedni do sprawdzenia zmian w jednej grupie, ale nie może wyizolować efektu interwencji od dojrzewania lub historii. Należy unikać stosowania surowych wyników zmian (post minus pre) jako zmiennej zależnej w ANCOVA – należy wprowadzić pretest i posttest jako oddzielne zmienne.
Czym jest zagrożenie testowaniem i kiedy ma ono znaczenie?
Zagrożenie testowaniem występuje, gdy sam akt wypełnienia pretestu zmienia uczestników – na przykład, informując ich o tym, jakie wyniki są cenione, ćwicząc pytania testowe lub zmniejszając lęk przed posttestem. Ma ono największe znaczenie, gdy instrument pomiarowy jest testem wiedzy o przejrzystej treści, lub gdy uczestnicy prawdopodobnie zastanowią się lub omówią swoje odpowiedzi z pretestu przed posttestem. Jeśli jest to poważna obawa, dodaj dwie grupy bez pretestu, używając projektu czterogrupowego Solomona.
Czy projekt pretest-posttest jest quasi-eksperymentalny czy eksperymentalny?
Może być jednym i drugim. Przy losowym przydziale do grup eksperymentalnej i kontrolnej jest to prawdziwy eksperyment (klasyczny projekt z grupą kontrolną pretest-posttest wg Campbella i Stanleya). Bez randomizacji – na przykład, gdy porównuje się całe klasy lub istniejące grupy – jest to projekt quasi-eksperymentalny i wiąże się z silniejszymi zagrożeniami dla trafności wewnętrznej, w tym z błędem selekcji.
Jak długi powinien być odstęp między pretestem a posttestem?
Odstęp powinien być wystarczająco długi, aby interwencja mogła przynieść oczekiwany efekt, ale nie na tyle długi, aby efekty historyczne, atrycja lub zmiany rozwojowe niezwiązane z interwencją utrudniały interpretację wyników zmian. Nie ma uniwersalnej zasady; odpowiedni odstęp jest określany przez teorię zmiany leżącą u podstaw interwencji i wcześniejsze dowody dotyczące czasu wystąpienia efektu.
Czy mogę dodać więcej punktów czasowych do projektu pretest-posttest?
Tak – dodanie jednego lub więcej pomiarów kontrolnych tworzy projekt z powtarzanymi pomiarami lub projekt podłużny, który może ujawnić, czy efekty interwencji utrzymują się, zanikają czy rosną w czasie. To rozszerzenie jest czasami nazywane projektem pretest-posttest-follow-up. Podejścia analityczne obejmują mieszane modele ANOVA lub modelowanie krzywych wzrostu.
Pokrewne metody
Źródła
Campbell, D. T., & Stanley, J. C. (1963). Experimental and Quasi-Experimental Designs for Research. Rand McNally.
Otwórz odnośnik do publikacjiSkopiowano.Shadish, W. R., Cook, T. D., & Campbell, D. T. (2002). Experimental and Quasi-Experimental Designs for Generalized Causal Inference. Houghton Mifflin.
ISBN: 978-0395615560Skopiowano.