Testowanie hipotez w badaniach — ilościowy projekt konfirmacyjny
- Autor metody
- Karl Pearson, Ronald A. Fisher, Jerzy Neyman, Egon Pearson
- Rok
- Early 20th century (Fisher 1925; Neyman–Pearson 1933)
- Typ
- Quantitative confirmatory research design
- Rodzina
- Survey / observational design
Ten tekst jest tłumaczeniem maszynowym i nie został jeszcze sprawdzony. Przeczytaj oryginał po angielsku
Do czego służy?
Badania z testowaniem hipotez to ilościowy projekt, w którym badacz wyprowadza jedną lub więcej jawnych, falsyfikowalnych propozycji z teorii, przekłada je na hipotezę zerową (H0) i hipotezę alternatywną (H1), zbiera dane empiryczne, a następnie stosuje inferencyjny test statystyczny, aby zdecydować, czy dowody są wystarczające do odrzucenia H0.
Podejście to jest dominującym paradygmatem dla nauki konfirmacyjnej we wszystkich naukach społecznych, behawioralnych, zdrowotnych i przyrodniczych.
Intuicja stojąca za metodą
Pomyśl o sali sądowej: H0 to domniemanie niewinności, a test statystyczny to proces sądowy. Zbierasz dowody (dane), stosujesz rygorystyczną zasadę decyzyjną (poziom istotności alfa) i albo odrzucasz niewinność, albo nie — nigdy nie udowadniasz winy ponad wszelką wątpliwość, tylko poza określonym progiem wątpliwości. Piękno polega na dyscyplinie: zobowiązując się zarówno do hipotezy, jak i zasady decyzyjnej przed zobaczeniem danych, chronisz się przed bardzo ludzką tendencją do znajdowania wzorców, których nigdy tak naprawdę nie było.
Historia
Formalny aparat statystycznego testowania hipotez zerowych wyłonił się z dwóch równoległych tradycji na początku XX wieku. Ronald A. Fisher wprowadził wartości p i testowanie istotności w 'Statistical Methods for Research Workers' (1925) jako narzędzie do wnioskowania indukcyjnego z danych. Jerzy Neyman i Egon Pearson (1933) zaproponowali uzupełniające ramy pre-specyfikowanych poziomów alfa, dwóch konkurencyjnych hipotez i kontroli błędów typu I/II. Chociaż obie ramy są logicznie odrębne, hybryda stała się standardową praktyką w naukach behawioralnych w połowie wieku, skodyfikowaną przez Kerlingera (1973, 1986) i wzmocnioną przez pracę Cohena nad mocą statystyczną (1969, 1988).
Kiedy stosować
Używaj badań z testowaniem hipotez, gdy masz konkretną, wyprowadzoną z teorii prognozę dotyczącą związku, różnicy lub efektu i potrzebujesz uzasadnionej, powtarzalnej procedury decyzyjnej. Jest to właściwy projekt, gdy pytania badawcze są konfirmacyjne ('Czy interwencja X zmniejsza wynik Y?') zamiast eksploracyjnych. Wymaga danych liczbowych i próby wystarczająco dużej, aby osiągnąć odpowiednią moc statystyczną (zazwyczaj co najmniej 80%). NIE używaj go, gdy (a) nie masz wcześniejszej teorii, a celem jest odkrycie — użyj zamiast tego projektów eksploracyjnych lub opisowych; (b) próba jest zbyt mała, aby wykryć prawdopodobne wielkości efektu, co prowadzi do niedostatecznie ugruntowanych testów, które są bardziej szumem niż sygnałem; lub (c) hipotezy są modyfikowane po zobaczeniu danych (HARKing), co całkowicie unieważnia logikę konfirmacyjną.
Ograniczenia i uwagi
- Istotność statystyczna (p < alfa) nie jest równoznaczna z istotnością praktyczną lub kliniczną — trywialny efekt może być wysoce istotny przy wystarczająco dużej próbie.
- Binarna decyzja o odrzuceniu/nieodrzuceniu odrzuca ciągłe dowody; wyniki graniczne (p = 0,049 vs p = 0,051) są traktowane jako kategorycznie różne.
- Niedostatecznie ugruntowane badania generują wysokie wskaźniki błędów typu II (fałszywe negatywy) i, paradoksalnie, zawyżone oszacowania wielkości efektu, gdy generują istotne wyniki.
- Wielokrotne testowanie bez korekty zwiększa błąd typu I (fałszywe pozytywy); jest to często pomijane w praktyce.
- Logika zakłada, że hipotezy zostały ustalone przed zebraniem danych — naruszenia (HARKing, p-hacking, opcjonalne zatrzymanie) są powszechne i unieważniają wnioski.
Warunki podane w źródle nie zastępują niezależnego przeglądu naukowego ani walidacji przez silnik analityczny.
Mocne strony
- Zapewnia przejrzystą, z góry określoną zasadę decyzyjną, która chroni przed post-hoc racjonalizacją przypadkowych wyników.
- Bezpośrednio testuje przewidywania teoretyczne, czyniąc go kamieniem węgielnym nauki kumulatywnej i powtarzalnej.
- Kwantyfikuje niepewność za pomocą wartości p, przedziałów ufności i wielkości efektu, ułatwiając porównania między badaniami.
- Dobrze wspierany przez syntezę metaanalityczną — badania z testowaniem hipotez mogą być łączone z różnych laboratoriów i replikacji.
- Szeroko rozumiany i akceptowany przez czasopisma, fundatorów i decydentów politycznych w praktycznie wszystkich dyscyplinach ilościowych.
Zastosowania
- Testowanie, czy nowa metoda nauczania poprawia osiągnięcia uczniów w porównaniu z grupą kontrolną w badaniach edukacyjnych.
- Ocena, czy interwencja kliniczna znacząco zmniejsza nasilenie objawów w stosunku do grupy placebo.
- Badanie, czy płeć, status społeczno-ekonomiczny lub inne zmienne grupowe przewidują różnice w wynikach psychologicznych.
- Testowanie modeli równań strukturalnych lub współczynników regresji wyprowadzonych z ram teoretycznych w zachowaniach organizacyjnych.
- Ocena, czy leczenie marketingowe (cena, ramowanie komunikatu) znacząco zmienia wybory konsumentów w ekonomii eksperymentalnej.
- Porównanie wyników przed i po interwencji w długoterminowych ewaluacjach programów przy użyciu testów dla par lub powtarzanych pomiarów.
Jak to działa
Jak to działa
Badacz wyprowadza jedną lub więcej testowalnych hipotez z istniejącej teorii lub wcześniejszych wyników. Każda hipoteza jest formułowana jako hipoteza zerowa (H0, domyślne twierdzenie o 'braku efektu') i hipoteza alternatywna (H1, przewidywany efekt lub związek). Obie muszą być precyzyjnie sformułowane i przed zebraniem danych, aby zachować logikę konfirmacyjną.
Wybierany jest projekt badania, który może dostarczyć wiarygodnych dowodów za lub przeciw H0 — ankieta, eksperyment, quasi-eksperyment lub badanie obserwacyjne. Kluczowe jest to, że badacz przeprowadza analizę mocy a priori (wykorzystując wielkość efektu, alfa i pożądaną moc), aby określić minimalny rozmiar próby potrzebny do wykrycia hipotetyzowanego efektu z odpowiednim prawdopodobieństwem.
Dane są zbierane zgodnie z ustalonym projektem. Narzędzia pomiarowe muszą wykazywać rzetelność i trafność. Próba musi być losowa lub wystarczająco reprezentatywna, aby uzasadnić skok inferencyjny od statystyk próby do parametrów populacji.
Do danych stosowany jest odpowiedni test inferencyjny (test t, ANOVA, chi-kwadrat, regresja itp.). Test generuje wartość p — prawdopodobieństwo zaobserwowania wyników co najmniej tak ekstremalnych, jak uzyskane, przy założeniu, że H0 jest prawdziwa. Wcześniej ustalony poziom alfa (zwykle 0,05) służy jako próg decyzyjny.
Wzór
H_0: \mu_1 = \mu_2 \quad \text{vs} \quad H_1: \mu_1 \neq \mu_2Jeśli p < alfa, H0 jest odrzucana na rzecz H1, a wynik jest deklarowany jako istotny statystycznie; zgłaszane są również wielkość efektu i przedziały ufności, aby przekazać praktyczną wielkość. Jeśli p >= alfa, badacz nie odrzuca H0 — nie potwierdza to H0, ale pozostawia ją jako domyślną. Wyniki są interpretowane w świetle pierwotnych ram teoretycznych.
Wzór
p < \alpha \Rightarrow \text{reject } H_0Częste pułapki
- HARKing (Hipotezowanie po Znajomości Wyników) — prezentowanie hipotezy post-hoc tak, jakby została ona sformułowana a priori, przekształca wyniki eksploracyjne w fałszywe potwierdzenia. Pre-rejestracja jest standardowym środkiem zaradczym.
- Ignorowanie mocy: przeprowadzenie badania bez analizy mocy, a następnie interpretowanie nieistotnego wyniku jako 'braku efektu' jest powszechnym i poważnym błędem. Nieistotna wartość p z badania o niedostatecznej mocy jest nieinformacyjna.
- Mylenie wartości p z wielkością efektu: zawsze zgłaszaj d Cohena, eta-kwadrat, r lub równoważnik wraz z wartościami p, aby czytelnicy mogli ocenić praktyczne znaczenie.
- Wędkowanie alfy (p-hacking): testowanie wielu wyników, podgrup lub specyfikacji modelu i zgłaszanie tylko tych istotnych. Stosuj korektę Bonferroniego, Benjamini-Hochberga lub pre-rejestruj wszystkie analizy.
- Traktowanie braku odrzucenia H0 jako dowodu, że H0 jest prawdziwa: używaj testów równoważności (TOST) lub metod bayesowskich, jeśli Twoim celem jest wykazanie braku efektu.
Najczęściej zadawane pytania
Jaka jest różnica między badaniami z testowaniem hipotez a badaniami konfirmacyjnymi?
Badania z testowaniem hipotez to specyficzny mechanizm — formalna procedura statystyczna (H0 vs H1, wartość p, alfa). Badania konfirmacyjne to szersza filozofia projektowania, zgodnie z którą przewidywania wyprowadzone z teorii powinny być testowane na nowych danych przed ich zaakceptowaniem. Wszystkie badania z testowaniem hipotez są konfirmacyjne w duchu, ale badania konfirmacyjne mogą również obejmować porównanie modeli lub aktualizację bayesowską bez klasycznych ram NHST.
Jak wybrać właściwy poziom istotności (alfa)?
Alfa = 0,05 jest konwencjonalnym domyślnym poziomem w większości nauk społecznych i behawioralnych, ale jest to konwencja społeczna, a nie uniwersalna prawda. Użyj alfa = 0,01, gdy fałszywe pozytywy są szczególnie kosztowne (np. zalecenie drogiej interwencji). Użyj alfa = 0,10 w projektach eksploracyjno-konfirmacyjnych, gdzie większym zmartwieniem są fałszywe negatywy. Zawsze uzasadnij swój wybór w sekcji metod, a zawsze podawaj dokładne wartości p wraz z decyzją o progu.
Mój wynik nie jest istotny. Czy mogę stwierdzić, że nie ma efektu?
Nie. Nieistotny wynik oznacza jedynie, że dane nie dostarczają wystarczających dowodów do odrzucenia H0 na wybranym poziomie alfa — nie potwierdza to H0. Aby wysunąć twierdzące stwierdzenie o 'braku znaczącego efektu', potrzebujesz formalnego testu równoważności (np. dwa testy jednostronne, TOST) lub analizy bayesowskiej, która kwantyfikuje dowody na rzecz H0 w stosunku do H1.
Czym jest pre-rejestracja i dlaczego jest ważna?
Pre-rejestracja oznacza publiczne zarejestrowanie hipotez, projektu, wielkości próby i planu analizy przed zebraniem danych (za pośrednictwem OSF, AsPredicted lub podobnego rejestru). Wyznacza wyraźną granicę między analizami konfirmacyjnymi a eksploracyjnymi, uniemożliwiając retrospektywne przedstawienie wyniku eksploracyjnego jako wyniku opartego na hipotezie. Czasopisma coraz częściej wymagają lub nagradzają pre-rejestrację jako wskaźnik jakości.
Czy powinienem zgłaszać wielkości efektu wraz z wartościami p?
Tak — jest to obecnie uważane za obowiązkowe zgodnie z podręcznikiem publikacji APA (wydanie 7) i większością głównych czasopism. Istotność statystyczna mówi, czy efekt jest odróżnialny od zera przy danej wielkości próby; wielkość efektu (d Cohena, r, eta-kwadrat, iloraz szans) mówi, jak duży lub znaczący jest faktyczny efekt. Istotna wartość p z bardzo małą wielkością efektu często wskazuje na trywialnie mały wpływ w świecie rzeczywistym.
Pokrewne metody
Źródła
Kerlinger, F. N., & Lee, H. B. (1986). Foundations of Behavioral Research (3rd ed.). Holt, Rinehart and Winston.
ISBN: 978-0030417603Skopiowano.Cohen, J. (1988). Statistical Power Analysis for the Behavioral Sciences (2nd ed.). Lawrence Erlbaum Associates.
ISBN: 978-0805802832Skopiowano.