Przejdź do treści
Wróć do wyników wyszukiwania

Testowanie hipotez w badaniach — ilościowy projekt konfirmacyjny

Autor metody
Karl Pearson, Ronald A. Fisher, Jerzy Neyman, Egon Pearson
Rok
Early 20th century (Fisher 1925; Neyman–Pearson 1933)
Typ
Quantitative confirmatory research design
Rodzina
Survey / observational design

Ten tekst jest tłumaczeniem maszynowym i nie został jeszcze sprawdzony. Przeczytaj oryginał po angielsku

Rozmiar czcionki

Do czego służy?

Badania z testowaniem hipotez to ilościowy projekt, w którym badacz wyprowadza jedną lub więcej jawnych, falsyfikowalnych propozycji z teorii, przekłada je na hipotezę zerową (H0) i hipotezę alternatywną (H1), zbiera dane empiryczne, a następnie stosuje inferencyjny test statystyczny, aby zdecydować, czy dowody są wystarczające do odrzucenia H0.

Podejście to jest dominującym paradygmatem dla nauki konfirmacyjnej we wszystkich naukach społecznych, behawioralnych, zdrowotnych i przyrodniczych.

Intuicja stojąca za metodą

Pomyśl o sali sądowej: H0 to domniemanie niewinności, a test statystyczny to proces sądowy. Zbierasz dowody (dane), stosujesz rygorystyczną zasadę decyzyjną (poziom istotności alfa) i albo odrzucasz niewinność, albo nie — nigdy nie udowadniasz winy ponad wszelką wątpliwość, tylko poza określonym progiem wątpliwości. Piękno polega na dyscyplinie: zobowiązując się zarówno do hipotezy, jak i zasady decyzyjnej przed zobaczeniem danych, chronisz się przed bardzo ludzką tendencją do znajdowania wzorców, których nigdy tak naprawdę nie było.

Historia

Formalny aparat statystycznego testowania hipotez zerowych wyłonił się z dwóch równoległych tradycji na początku XX wieku. Ronald A. Fisher wprowadził wartości p i testowanie istotności w 'Statistical Methods for Research Workers' (1925) jako narzędzie do wnioskowania indukcyjnego z danych. Jerzy Neyman i Egon Pearson (1933) zaproponowali uzupełniające ramy pre-specyfikowanych poziomów alfa, dwóch konkurencyjnych hipotez i kontroli błędów typu I/II. Chociaż obie ramy są logicznie odrębne, hybryda stała się standardową praktyką w naukach behawioralnych w połowie wieku, skodyfikowaną przez Kerlingera (1973, 1986) i wzmocnioną przez pracę Cohena nad mocą statystyczną (1969, 1988).

Kiedy stosować

Używaj badań z testowaniem hipotez, gdy masz konkretną, wyprowadzoną z teorii prognozę dotyczącą związku, różnicy lub efektu i potrzebujesz uzasadnionej, powtarzalnej procedury decyzyjnej. Jest to właściwy projekt, gdy pytania badawcze są konfirmacyjne ('Czy interwencja X zmniejsza wynik Y?') zamiast eksploracyjnych. Wymaga danych liczbowych i próby wystarczająco dużej, aby osiągnąć odpowiednią moc statystyczną (zazwyczaj co najmniej 80%). NIE używaj go, gdy (a) nie masz wcześniejszej teorii, a celem jest odkrycie — użyj zamiast tego projektów eksploracyjnych lub opisowych; (b) próba jest zbyt mała, aby wykryć prawdopodobne wielkości efektu, co prowadzi do niedostatecznie ugruntowanych testów, które są bardziej szumem niż sygnałem; lub (c) hipotezy są modyfikowane po zobaczeniu danych (HARKing), co całkowicie unieważnia logikę konfirmacyjną.

Ograniczenia i uwagi

  • Istotność statystyczna (p < alfa) nie jest równoznaczna z istotnością praktyczną lub kliniczną — trywialny efekt może być wysoce istotny przy wystarczająco dużej próbie.
  • Binarna decyzja o odrzuceniu/nieodrzuceniu odrzuca ciągłe dowody; wyniki graniczne (p = 0,049 vs p = 0,051) są traktowane jako kategorycznie różne.
  • Niedostatecznie ugruntowane badania generują wysokie wskaźniki błędów typu II (fałszywe negatywy) i, paradoksalnie, zawyżone oszacowania wielkości efektu, gdy generują istotne wyniki.
  • Wielokrotne testowanie bez korekty zwiększa błąd typu I (fałszywe pozytywy); jest to często pomijane w praktyce.
  • Logika zakłada, że hipotezy zostały ustalone przed zebraniem danych — naruszenia (HARKing, p-hacking, opcjonalne zatrzymanie) są powszechne i unieważniają wnioski.

Warunki podane w źródle nie zastępują niezależnego przeglądu naukowego ani walidacji przez silnik analityczny.

Mocne strony

  • Zapewnia przejrzystą, z góry określoną zasadę decyzyjną, która chroni przed post-hoc racjonalizacją przypadkowych wyników.
  • Bezpośrednio testuje przewidywania teoretyczne, czyniąc go kamieniem węgielnym nauki kumulatywnej i powtarzalnej.
  • Kwantyfikuje niepewność za pomocą wartości p, przedziałów ufności i wielkości efektu, ułatwiając porównania między badaniami.
  • Dobrze wspierany przez syntezę metaanalityczną — badania z testowaniem hipotez mogą być łączone z różnych laboratoriów i replikacji.
  • Szeroko rozumiany i akceptowany przez czasopisma, fundatorów i decydentów politycznych w praktycznie wszystkich dyscyplinach ilościowych.

Zastosowania

  • Testowanie, czy nowa metoda nauczania poprawia osiągnięcia uczniów w porównaniu z grupą kontrolną w badaniach edukacyjnych.
  • Ocena, czy interwencja kliniczna znacząco zmniejsza nasilenie objawów w stosunku do grupy placebo.
  • Badanie, czy płeć, status społeczno-ekonomiczny lub inne zmienne grupowe przewidują różnice w wynikach psychologicznych.
  • Testowanie modeli równań strukturalnych lub współczynników regresji wyprowadzonych z ram teoretycznych w zachowaniach organizacyjnych.
  • Ocena, czy leczenie marketingowe (cena, ramowanie komunikatu) znacząco zmienia wybory konsumentów w ekonomii eksperymentalnej.
  • Porównanie wyników przed i po interwencji w długoterminowych ewaluacjach programów przy użyciu testów dla par lub powtarzanych pomiarów.

Jak to działa

Jak to działa

1

Badacz wyprowadza jedną lub więcej testowalnych hipotez z istniejącej teorii lub wcześniejszych wyników. Każda hipoteza jest formułowana jako hipoteza zerowa (H0, domyślne twierdzenie o 'braku efektu') i hipoteza alternatywna (H1, przewidywany efekt lub związek). Obie muszą być precyzyjnie sformułowane i przed zebraniem danych, aby zachować logikę konfirmacyjną.

2

Wybierany jest projekt badania, który może dostarczyć wiarygodnych dowodów za lub przeciw H0 — ankieta, eksperyment, quasi-eksperyment lub badanie obserwacyjne. Kluczowe jest to, że badacz przeprowadza analizę mocy a priori (wykorzystując wielkość efektu, alfa i pożądaną moc), aby określić minimalny rozmiar próby potrzebny do wykrycia hipotetyzowanego efektu z odpowiednim prawdopodobieństwem.

3

Dane są zbierane zgodnie z ustalonym projektem. Narzędzia pomiarowe muszą wykazywać rzetelność i trafność. Próba musi być losowa lub wystarczająco reprezentatywna, aby uzasadnić skok inferencyjny od statystyk próby do parametrów populacji.

4

Do danych stosowany jest odpowiedni test inferencyjny (test t, ANOVA, chi-kwadrat, regresja itp.). Test generuje wartość p — prawdopodobieństwo zaobserwowania wyników co najmniej tak ekstremalnych, jak uzyskane, przy założeniu, że H0 jest prawdziwa. Wcześniej ustalony poziom alfa (zwykle 0,05) służy jako próg decyzyjny.

Wzór
H_0: \mu_1 = \mu_2 \quad \text{vs} \quad H_1: \mu_1 \neq \mu_2
5

Jeśli p < alfa, H0 jest odrzucana na rzecz H1, a wynik jest deklarowany jako istotny statystycznie; zgłaszane są również wielkość efektu i przedziały ufności, aby przekazać praktyczną wielkość. Jeśli p >= alfa, badacz nie odrzuca H0 — nie potwierdza to H0, ale pozostawia ją jako domyślną. Wyniki są interpretowane w świetle pierwotnych ram teoretycznych.

Wzór
p < \alpha \Rightarrow \text{reject } H_0

Częste pułapki

  • HARKing (Hipotezowanie po Znajomości Wyników) — prezentowanie hipotezy post-hoc tak, jakby została ona sformułowana a priori, przekształca wyniki eksploracyjne w fałszywe potwierdzenia. Pre-rejestracja jest standardowym środkiem zaradczym.
  • Ignorowanie mocy: przeprowadzenie badania bez analizy mocy, a następnie interpretowanie nieistotnego wyniku jako 'braku efektu' jest powszechnym i poważnym błędem. Nieistotna wartość p z badania o niedostatecznej mocy jest nieinformacyjna.
  • Mylenie wartości p z wielkością efektu: zawsze zgłaszaj d Cohena, eta-kwadrat, r lub równoważnik wraz z wartościami p, aby czytelnicy mogli ocenić praktyczne znaczenie.
  • Wędkowanie alfy (p-hacking): testowanie wielu wyników, podgrup lub specyfikacji modelu i zgłaszanie tylko tych istotnych. Stosuj korektę Bonferroniego, Benjamini-Hochberga lub pre-rejestruj wszystkie analizy.
  • Traktowanie braku odrzucenia H0 jako dowodu, że H0 jest prawdziwa: używaj testów równoważności (TOST) lub metod bayesowskich, jeśli Twoim celem jest wykazanie braku efektu.

Najczęściej zadawane pytania

Jaka jest różnica między badaniami z testowaniem hipotez a badaniami konfirmacyjnymi?

Badania z testowaniem hipotez to specyficzny mechanizm — formalna procedura statystyczna (H0 vs H1, wartość p, alfa). Badania konfirmacyjne to szersza filozofia projektowania, zgodnie z którą przewidywania wyprowadzone z teorii powinny być testowane na nowych danych przed ich zaakceptowaniem. Wszystkie badania z testowaniem hipotez są konfirmacyjne w duchu, ale badania konfirmacyjne mogą również obejmować porównanie modeli lub aktualizację bayesowską bez klasycznych ram NHST.

Jak wybrać właściwy poziom istotności (alfa)?

Alfa = 0,05 jest konwencjonalnym domyślnym poziomem w większości nauk społecznych i behawioralnych, ale jest to konwencja społeczna, a nie uniwersalna prawda. Użyj alfa = 0,01, gdy fałszywe pozytywy są szczególnie kosztowne (np. zalecenie drogiej interwencji). Użyj alfa = 0,10 w projektach eksploracyjno-konfirmacyjnych, gdzie większym zmartwieniem są fałszywe negatywy. Zawsze uzasadnij swój wybór w sekcji metod, a zawsze podawaj dokładne wartości p wraz z decyzją o progu.

Mój wynik nie jest istotny. Czy mogę stwierdzić, że nie ma efektu?

Nie. Nieistotny wynik oznacza jedynie, że dane nie dostarczają wystarczających dowodów do odrzucenia H0 na wybranym poziomie alfa — nie potwierdza to H0. Aby wysunąć twierdzące stwierdzenie o 'braku znaczącego efektu', potrzebujesz formalnego testu równoważności (np. dwa testy jednostronne, TOST) lub analizy bayesowskiej, która kwantyfikuje dowody na rzecz H0 w stosunku do H1.

Czym jest pre-rejestracja i dlaczego jest ważna?

Pre-rejestracja oznacza publiczne zarejestrowanie hipotez, projektu, wielkości próby i planu analizy przed zebraniem danych (za pośrednictwem OSF, AsPredicted lub podobnego rejestru). Wyznacza wyraźną granicę między analizami konfirmacyjnymi a eksploracyjnymi, uniemożliwiając retrospektywne przedstawienie wyniku eksploracyjnego jako wyniku opartego na hipotezie. Czasopisma coraz częściej wymagają lub nagradzają pre-rejestrację jako wskaźnik jakości.

Czy powinienem zgłaszać wielkości efektu wraz z wartościami p?

Tak — jest to obecnie uważane za obowiązkowe zgodnie z podręcznikiem publikacji APA (wydanie 7) i większością głównych czasopism. Istotność statystyczna mówi, czy efekt jest odróżnialny od zera przy danej wielkości próby; wielkość efektu (d Cohena, r, eta-kwadrat, iloraz szans) mówi, jak duży lub znaczący jest faktyczny efekt. Istotna wartość p z bardzo małą wielkością efektu często wskazuje na trywialnie mały wpływ w świecie rzeczywistym.

Pokrewne metody

Źródła

  1. Kerlinger, F. N., & Lee, H. B. (1986). Foundations of Behavioral Research (3rd ed.). Holt, Rinehart and Winston.

    ISBN: 978-0030417603
    Skopiowano.
  2. Cohen, J. (1988). Statistical Power Analysis for the Behavioral Sciences (2nd ed.). Lawrence Erlbaum Associates.

    ISBN: 978-0805802832
    Skopiowano.