Disegno Sperimentale Pretest-Posttest
- Introdotto da
- Donald T. Campbell and Julian C. Stanley
- Anno
- 1963 (formalized in Campbell & Stanley)
- Tipo
- Experimental / quasi-experimental research design
- Famiglia
- Experimental design
Questo testo è una traduzione automatica e non è ancora stato revisionato. Leggi l’originale in inglese
A cosa serve?
Il disegno sperimentale pretest-posttest misura i partecipanti sulla variabile di esito prima e dopo il trattamento, tipicamente con assegnazione casuale ai gruppi di trattamento e di controllo.
La differenza tra i punteggi pre e post isola l'effetto del trattamento dalla variazione di base, rendendo questo uno dei quadri più utilizzati nella ricerca sperimentale e quasi-sperimentale in educazione, psicologia, medicina e scienze sociali.
L’intuizione alla base del metodo
Immaginate di voler sapere se un intervento di lettura di sei settimane migliora i punteggi di alfabetizzazione. Misurare semplicemente i punteggi dopo il programma è inaffidabile: i punteggi potrebbero essere aumentati comunque a causa della maturazione o di effetti stagionali. Il disegno pretest-posttest aggiunge una misurazione prima dell'inizio del programma: ora si confronta quanto è cambiato ciascun gruppo, non dove è finito. Con un gruppo di controllo, qualsiasi cambiamento comune a entrambi i gruppi (ad es. crescita naturale) si annulla, lasciando una stima del contributo unico del programma. L'aggiunta dell'assegnazione casuale eleva questo a un vero esperimento con una forte garanzia causale.
Storia
Il disegno pretest-posttest ha ottenuto un trattamento metodologico sistematico attraverso la monografia di Donald Campbell e Julian Stanley del 1963, Experimental and Quasi-Experimental Designs for Research, che ha introdotto la notazione (O1 X O2) e catalogato le minacce alla validità interna. Campbell e Stanley hanno distinto il vero disegno pretest-posttest con gruppo di controllo (con randomizzazione) dal disegno quasi-sperimentale pretest-posttest a gruppo singolo, identificando la vulnerabilità di quest'ultimo alle minacce storiche, di maturazione e di test. Shadish, Cook e Campbell hanno aggiornato ed esteso il quadro nel 2002, consolidando il posto del disegno come pietra angolare della metodologia di ricerca applicata.
Quando usarlo
Utilizzare un disegno pretest-posttest quando è necessario valutare il cambiamento nel tempo dovuto a un intervento e le differenze individuali di base sono suscettibili di introdurre rumore. È appropriato quando l'assegnazione casuale è fattibile (vero esperimento) o quando i punteggi del pretest sono essenziali per controllare le differenze di gruppo preesistenti in contesti quasi-sperimentali. Non usarlo quando una singola misurazione post-hoc è sufficiente (ad es. la varianza dell'esito tra le persone è trascurabile), quando il pretest stesso è suscettibile di sensibilizzare i partecipanti all'intervento (minaccia del test - considerare invece un disegno di Solomon a quattro gruppi), o quando solo un punto temporale di raccolta dati è logisticamente possibile.
Limiti e considerazioni
- Il pretest può sensibilizzare i partecipanti al contenuto del trattamento o all'ipotesi del ricercatore, gonfiando o sgonfiando i punteggi post (minaccia del test).
- La mortalità/attrito tra pretest e posttest può distorcere i risultati se l'abbandono è correlato alla condizione di trattamento o ai punteggi di base.
- Senza randomizzazione, persiste il bias di selezione: le differenze preesistenti tra i gruppi potrebbero non essere completamente catturate dal solo punteggio del pretest.
- Regressione verso la media: i gruppi selezionati sulla base di punteggi estremi al pretest tenderanno a ottenere punteggi più vicini alla media al posttest indipendentemente dal trattamento.
Le condizioni della fonte non sostituiscono una revisione scientifica indipendente né la validazione da parte di un motore di analisi.
Punti di forza
- Controlla le differenze individuali preesistenti, aumentando la potenza statistica rispetto ai disegni posttest-only.
- Consente la misurazione diretta del cambiamento, che è spesso la quantità sostanzialmente significativa (ad es. guadagno di apprendimento, riduzione dei sintomi).
- Ampiamente compreso tra le discipline e compatibile con molti quadri analitici (ANCOVA, ANOVA, modellazione multilivello).
- Se combinato con la randomizzazione, fornisce una forte evidenza causale per l'effetto del trattamento.
- I punteggi pre e post consentono il rilevamento di cambiamenti differenziali tra sottogruppi (analisi di moderazione).
Applicazioni
- Valutazione di interventi educativi: misurazione dei guadagni di apprendimento prima e dopo un curriculum, un programma di tutoraggio o una tecnologia didattica.
- Ricerca clinica e sanitaria: valutazione della riduzione dei sintomi, del miglioramento funzionale o del cambiamento comportamentale a seguito di un trattamento medico o psicologico.
- Studi di formazione organizzativa: misurazione del cambiamento di conoscenze, abilità o atteggiamenti nei dipendenti prima e dopo un programma di formazione.
- Valutazione delle politiche pubbliche: stima dell'effetto di un cambiamento di politica o di un programma sociale su esiti quali occupazione, salute o rendimento scolastico.
- Scienze dello sport e dell'esercizio fisico: monitoraggio di indicatori di fitness, performance o psicologici durante un intervento di allenamento strutturato.
Come funziona
Come funziona
Tutti i partecipanti completano una misurazione della variabile di esito (il pretest, O1) prima che venga introdotto qualsiasi trattamento. Questa baseline serve a tre scopi: conferma l'equivalenza dei gruppi all'inizio (specialmente se combinata con la randomizzazione), consente il calcolo dei punteggi di cambiamento e aumenta la potenza statistica controllando le differenze individuali.
I partecipanti vengono assegnati casualmente al gruppo di trattamento o al gruppo di controllo (o di confronto). L'assegnazione casuale è ciò che distingue un vero esperimento pretest-posttest da una variante quasi-sperimentale. Senza randomizzazione, le differenze preesistenti tra i gruppi minacciano l'inferenza causale e il disegno è quasi-sperimentale.
Il gruppo di trattamento riceve l'intervento mentre il gruppo di controllo riceve un placebo, nessun intervento o il trattamento standard. La durata e la fedeltà della somministrazione del trattamento devono essere standardizzate e documentate per garantire la validità interna.
Dopo il periodo di intervento, tutti i partecipanti completano nuovamente la stessa misurazione dell'esito (il posttest, O2). L'intervallo tra pretest e posttest dovrebbe essere sufficientemente lungo affinché il trattamento abbia effetto, ma non così lungo da confondere gravemente i risultati a causa di eventi storici o attrito.
L'analisi primaria calcola il cambiamento dal pretest al posttest per ciascun gruppo e verifica se il cambiamento del gruppo di trattamento è significativamente maggiore del cambiamento del gruppo di controllo. Gli approcci analitici comuni includono l'analisi della covarianza (ANCOVA) con il pretest come covariata, i test t per campioni appaiati all'interno di ciascun gruppo o l'ANOVA per misure ripetute con modelli misti.
Errori comuni
- Analizzare i punteggi del posttest senza aggiustare per il pretest: questo scarta le informazioni fornite dal pretest e riduce la potenza; utilizzare l'ANCOVA con il pretest come covariata piuttosto che un semplice confronto posttest.
- Utilizzare uno strumento di pretest che non sia la stessa misura del posttest, rendendo i punteggi di cambiamento ininterpretabili; entrambe le onde devono utilizzare forme identiche o strettamente parallele della misura dell'esito.
- Ignorare la minaccia del test in contesti sensibili (ad es. sondaggi di atteggiamento, test di conoscenza con item trasparenti): se il pretest cambia plausibilmente i partecipanti, considerare un disegno di Solomon a quattro gruppi.
- Trattare il disegno pretest-posttest come automaticamente causale senza randomizzazione: nelle versioni quasi-sperimentali, confondenti non misurati possono ancora spiegare la differenza di cambiamento osservata.
- Applicare punteggi di guadagno grezzi (O2 - O1) come variabile dipendente nella regressione: questo approccio presenta noti problemi psicometrici; sono preferibili l'ANCOVA o i punteggi di cambiamento residualizzati.
Domande frequenti
Dovrei usare l'ANCOVA o un test t appaiato per analizzare i dati pretest-posttest?
L'ANCOVA con il pretest come covariata è generalmente preferita per i confronti tra gruppi perché rimuove la varianza del pretest dal termine di errore, aumentando la potenza, e corregge eventuali squilibri residui di base. Un test t appaiato all'interno di un gruppo è appropriato per un controllo pre-post a gruppo singolo ma non può isolare l'effetto del trattamento dalla maturazione o dalla storia. Evitare di utilizzare punteggi di guadagno grezzi (post meno pre) come variabile dipendente nell'ANCOVA: inserire pretest e posttest come variabili separate.
Cos'è la minaccia del test e quando è importante?
La minaccia del test si verifica quando l'atto di completare il pretest stesso modifica i partecipanti, ad esempio, segnalando loro quali esiti sono valorizzati, facendo esercitare gli item del test o riducendo l'ansia al posttest. È più importante quando lo strumento di misurazione dell'esito è un test di conoscenza con contenuto trasparente, o quando è probabile che i partecipanti riflettano o discutano le loro risposte al pretest prima del posttest. Se questa è una preoccupazione seria, aggiungere due gruppi non sottoposti a pretest utilizzando il disegno di Solomon a quattro gruppi.
Il disegno pretest-posttest è quasi-sperimentale o sperimentale?
Può essere entrambi. Con l'assegnazione casuale ai gruppi di trattamento e di controllo è un vero esperimento (il classico disegno pretest-posttest con gruppo di controllo di Campbell & Stanley). Senza randomizzazione, ad esempio quando si confrontano classi intatte o gruppi esistenti, è un disegno quasi-sperimentale e presenta minacce più forti alla validità interna, incluso il bias di selezione.
Quanto dovrebbe essere lungo l'intervallo tra pretest e posttest?
L'intervallo dovrebbe essere sufficientemente lungo affinché l'intervento produca l'effetto atteso, ma non così lungo da rendere i punteggi di cambiamento difficili da interpretare a causa di effetti storici, attrito o cambiamenti evolutivi non correlati al trattamento. Non esiste una regola universale; l'intervallo appropriato è determinato dalla teoria del cambiamento sottostante all'intervento e dalle prove precedenti sulla tempistica degli effetti.
Posso aggiungere più punti temporali a un disegno pretest-posttest?
Sì, l'aggiunta di una o più misurazioni di follow-up produce un disegno a misure ripetute o longitudinale, che può rivelare se gli effetti del trattamento persistono, svaniscono o crescono nel tempo. Questa estensione è talvolta chiamata disegno pretest-posttest-follow-up. Gli approcci analitici includono l'ANOVA a modelli misti o la modellazione della curva di crescita.
Metodi correlati
Fonti
Campbell, D. T., & Stanley, J. C. (1963). Experimental and Quasi-Experimental Designs for Research. Rand McNally.
Apri il riferimento della pubblicazioneCopiato.Shadish, W. R., Cook, T. D., & Campbell, D. T. (2002). Experimental and Quasi-Experimental Designs for Generalized Causal Inference. Houghton Mifflin.
ISBN: 978-0395615560Copiato.