Ricerca basata su test di ipotesi — Progettazione quantitativa confermativa
- Introdotto da
- Karl Pearson, Ronald A. Fisher, Jerzy Neyman, Egon Pearson
- Anno
- Early 20th century (Fisher 1925; Neyman–Pearson 1933)
- Tipo
- Quantitative confirmatory research design
- Famiglia
- Survey / observational design
Questo testo è una traduzione automatica e non è ancora stato revisionato. Leggi l’originale in inglese
A cosa serve?
La ricerca basata su test di ipotesi è una progettazione quantitativa in cui l'investigatore deriva una o più proposizioni esplicite e falsificabili dalla teoria, le traduce in un'ipotesi nulla (H0) e un'ipotesi alternativa (H1), raccoglie dati empirici e quindi applica un test statistico inferenziale per decidere se le prove sono sufficienti a rifiutare H0.
L'approccio è il paradigma dominante per la scienza confermativa nelle scienze sociali, comportamentali, sanitarie e naturali.
L’intuizione alla base del metodo
Pensate a un'aula di tribunale: H0 è la presunzione di innocenza e il test statistico è il processo. Si raccolgono prove (dati), si applica una regola decisionale rigorosa (livello di significatività alfa) e si rifiuta l'innocenza o non si riesce a farlo: non si prova mai la colpevolezza al di là di ogni ragionevole dubbio, solo al di là di una soglia specificata di dubbio. La bellezza sta nella disciplina: impegnandosi sia sull'ipotesi che sulla regola decisionale prima di vedere i dati, ci si protegge dalla tendenza umana a trovare schemi che in realtà non c'erano.
Storia
L'apparato formale dei test di significatività dell'ipotesi nulla è emerso da due tradizioni parallele all'inizio del XX secolo. Ronald A. Fisher introdusse i p-value e i test di significatività in Statistical Methods for Research Workers (1925) come strumento per l'inferenza induttiva dai dati. Jerzy Neyman ed Egon Pearson (1933) proposero il quadro complementare dei livelli alfa prestabiliti, due ipotesi concorrenti e il controllo degli errori di Tipo I / Tipo II. Sebbene i due quadri siano logicamente distinti, un ibrido divenne la pratica standard nelle scienze comportamentali a metà secolo, codificato da Kerlinger (1973, 1986) e rafforzato dal lavoro di Cohen sulla potenza statistica (1969, 1988).
Quando usarlo
Utilizzare la ricerca basata su test di ipotesi quando si dispone di una previsione specifica, derivata dalla teoria, su una relazione, una differenza o un effetto, e si necessita di una procedura decisionale difendibile e replicabile. È il disegno corretto quando le domande di ricerca sono confermative ('L'intervento X riduce l'esito Y?') piuttosto che esplorative. Richiede dati numerici e un campione sufficientemente ampio per ottenere una potenza statistica adeguata (tipicamente almeno l'80%). NON utilizzarla quando (a) non si dispone di teoria pregressa e l'obiettivo è la scoperta — utilizzare invece disegni esplorativi o descrittivi; (b) il campione è troppo piccolo per rilevare dimensioni dell'effetto plausibili, producendo test sottodimensionati che sono più rumore che segnale; o (c) si modificano le ipotesi dopo aver visto i dati (HARKing), il che invalida completamente la logica confermativa.
Limiti e considerazioni
- La significatività statistica (p < alfa) non equivale alla significatività pratica o clinica: un effetto banale può essere altamente significativo con un campione sufficientemente ampio.
- La decisione binaria rifiuta/non rifiuta scarta l'evidenza continua; i risultati borderline (p = 0,049 vs. p = 0,051) sono trattati come categoricamente diversi.
- Gli studi sottodimensionati producono alti tassi di errori di Tipo II (falsi negativi) e, paradossalmente, stime gonfiate della dimensione dell'effetto quando producono risultati significativi.
- I test multipli senza correzione aumentano l'errore di Tipo I (falsi positivi); questo viene spesso trascurato nella pratica.
- La logica presuppone che le ipotesi fossero fisse prima della raccolta dati: le violazioni (HARKing, p-hacking, arresto opzionale) sono comuni e invalidano le conclusioni.
Le condizioni della fonte non sostituiscono una revisione scientifica indipendente né la validazione da parte di un motore di analisi.
Punti di forza
- Fornisce una regola decisionale trasparente e prestabilita che protegge dalla razionalizzazione post-hoc dei risultati casuali.
- Verifica direttamente le previsioni teoriche, rendendola la pietra angolare della scienza cumulativa e replicabile.
- Quantifica l'incertezza attraverso p-value, intervalli di confidenza e dimensioni dell'effetto, facilitando il confronto tra studi.
- Ben supportata dalla sintesi meta-analitica: gli studi basati su test di ipotesi possono essere aggregati tra laboratori e replicazioni.
- Ampiamente compresa e accettata da riviste, finanziatori e decisori politici in quasi tutte le discipline quantitative.
Applicazioni
- Verificare se un nuovo metodo didattico migliora il rendimento degli studenti rispetto a una condizione di controllo nella ricerca educativa.
- Valutare se un intervento clinico riduce significativamente la gravità dei sintomi rispetto a un gruppo placebo.
- Esaminare se genere, status socioeconomico o altre variabili di gruppo predicono differenze negli esiti psicologici.
- Testare modelli di equazioni strutturali o coefficienti di regressione derivati da quadri teorici nel comportamento organizzativo.
- Valutare se un trattamento di marketing (prezzo, inquadramento del messaggio) modifica significativamente la scelta del consumatore nell'economia sperimentale.
- Confrontare i punteggi pre- e post-intervento nelle valutazioni di programmi longitudinali utilizzando test appaiati o a misure ripetute.
Come funziona
Come funziona
Il ricercatore deriva una o più ipotesi verificabili dalla teoria esistente o da risultati precedenti. Ciascuna ipotesi è formulata come un'ipotesi nulla (H0, l'affermazione predefinita di 'nessun effetto') e un'ipotesi alternativa (H1, l'effetto o la relazione prevista). Entrambe devono essere dichiarate con precisione e prima della raccolta dati per preservare la logica confermativa.
Viene selezionato un disegno di studio in grado di fornire prove valide a favore o contro H0: sondaggio, esperimento, quasi-esperimento o osservazionale. Fondamentalmente, il ricercatore conduce un'analisi della potenza a priori (utilizzando la dimensione dell'effetto, alfa e la potenza desiderata) per determinare la dimensione minima del campione necessaria per rilevare l'effetto ipotizzato con probabilità adeguata.
I dati vengono raccolti secondo il disegno predeterminato. Gli strumenti di misurazione devono dimostrare affidabilità e validità. Il campionamento deve essere casuale o sufficientemente rappresentativo da supportare il salto inferenziale dalle statistiche campionarie ai parametri della popolazione.
Viene applicato un test inferenziale appropriato (t-test, ANOVA, chi-quadrato, regressione, ecc.) ai dati. Il test produce un p-value: la probabilità di osservare risultati almeno altrettanto estremi di quelli ottenuti, dato che H0 è vera. Il livello alfa prestabilito (comunemente 0,05) funge da soglia decisionale.
Formula
H_0: \mu_1 = \mu_2 \quad \text{vs} \quad H_1: \mu_1 \neq \mu_2Se p < alfa, H0 viene rifiutata a favore di H1 e il risultato viene dichiarato statisticamente significativo; vengono inoltre riportati la dimensione dell'effetto e gli intervalli di confidenza per comunicare la magnitudo pratica. Se p >= alfa, il ricercatore non riesce a rifiutare H0: ciò non conferma H0 ma la lascia come impostazione predefinita. I risultati vengono interpretati alla luce del quadro teorico originale.
Formula
p < \alpha \Rightarrow \text{reject } H_0Errori comuni
- HARKing (Hypothesizing After Results are Known) — presentare un'ipotesi post-hoc come se fosse stata dichiarata a priori trasforma i risultati esplorativi in false conferme. La pre-registrazione è il rimedio standard.
- Ignorare la potenza: condurre uno studio senza un'analisi della potenza e quindi interpretare un risultato non significativo come 'nessun effetto' è un errore comune e grave. Un p-value non significativo da uno studio sottodimensionato non è informativo.
- Confondere p-value con dimensione dell'effetto: riportare sempre d di Cohen, eta-quadrato, r o un equivalente insieme ai p-value in modo che i lettori possano giudicare l'importanza pratica.
- Pesca di alfa (p-hacking): testare molteplici esiti, sottogruppi o specifiche del modello e riportare solo quelli significativi. Applicare Bonferroni, Benjamini–Hochberg o pre-registrare tutte le analisi.
- Considerare il mancato rifiuto di H0 come prova che H0 sia vera: utilizzare test di equivalenza (TOST) o metodi Bayesiani se l'obiettivo è dimostrare l'assenza di un effetto.
Domande frequenti
Qual è la differenza tra ricerca basata su test di ipotesi e ricerca confermativa?
La ricerca basata su test di ipotesi è il meccanismo specifico — la procedura statistica formale (H0 vs. H1, p-value, alfa). La ricerca confermativa è la filosofia di progettazione più ampia secondo cui le previsioni derivate dalla teoria dovrebbero essere testate rispetto a nuovi dati prima di essere accettate. Tutta la ricerca basata su test di ipotesi è confermativa nello spirito, ma la ricerca confermativa può anche comportare il confronto di modelli o l'aggiornamento Bayesiano senza il quadro classico NHST.
Come scelgo il giusto livello di significatività (alfa)?
Alfa = 0,05 è l'impostazione predefinita convenzionale nella maggior parte delle scienze sociali e comportamentali, ma è una convenzione sociale, non una verità universale. Utilizzare alfa = 0,01 quando i falsi positivi sono particolarmente costosi (ad esempio, raccomandare un intervento costoso). Utilizzare alfa = 0,10 in disegni esplorativi-confermativi dove i falsi negativi sono la preoccupazione maggiore. Giustificare sempre la scelta nella sezione metodi e riportare sempre i p-value esatti insieme alla decisione soglia.
Il mio risultato non è significativo. Posso concludere che non c'è effetto?
No. Un risultato non significativo significa solo che i dati non forniscono prove sufficienti per rifiutare H0 al livello alfa scelto — non conferma H0. Per fare un'affermazione positiva di 'nessun effetto significativo' è necessario un test di equivalenza formale (ad esempio, due test unilaterali, TOST) o un'analisi Bayesiana che quantifichi le prove a favore di H0 rispetto a H1.
Cos'è la pre-registrazione e perché è importante?
La pre-registrazione significa registrare pubblicamente le proprie ipotesi, il disegno, la dimensione del campione e il piano di analisi prima di raccogliere i dati (tramite OSF, AsPredicted o un registro simile). Traccia una linea netta tra analisi confermative ed esplorative, rendendo impossibile presentare retroattivamente un risultato esplorativo come guidato da ipotesi. Le riviste richiedono o premiano sempre più la pre-registrazione come indicatore di qualità.
Dovrei riportare le dimensioni dell'effetto insieme ai p-value?
Sì — questo è ora considerato obbligatorio dal Manuale di Pubblicazione APA (7ª edizione) e dalla maggior parte delle principali riviste. La significatività statistica indica se un effetto è distinguibile da zero data la dimensione del campione; la dimensione dell'effetto (d di Cohen, r, eta-quadrato, odds ratio) indica quanto è grande o significativo l'effetto in realtà. Un p-value significativo con una dimensione dell'effetto minuscola indica spesso un impatto trascurabile nel mondo reale.
Metodi correlati
Fonti
Kerlinger, F. N., & Lee, H. B. (1986). Foundations of Behavioral Research (3rd ed.). Holt, Rinehart and Winston.
ISBN: 978-0030417603Copiato.Cohen, J. (1988). Statistical Power Analysis for the Behavioral Sciences (2nd ed.). Lawrence Erlbaum Associates.
ISBN: 978-0805802832Copiato.