Przejdź do treści
Wróć do wyników wyszukiwania

Badania konfirmacyjne — ilościowy projekt testujący teorię

Autor metody
Karl Popper (falsificationism); formalized in behavioral sciences by Paul Meehl and others
Rok
1934 (Popper); widely adopted in social sciences from 1960s onward
Typ
Quantitative research design
Rodzina
Survey / observational design

Ten tekst jest tłumaczeniem maszynowym i nie został jeszcze sprawdzony. Przeczytaj oryginał po angielsku

Rozmiar czcionki

Do czego służy?

Badania konfirmacyjne to dedukcyjny projekt ilościowy, w którym badacz określa hipotezy wyprowadzone z istniejącej teorii przed zebraniem danych, a następnie testuje, czy dane te hipotezy potwierdzają, czy obalają.

W przeciwieństwie do podejść eksploracyjnych, które generują idee na podstawie danych, badania konfirmacyjne zaczynają się od ustalonej ramy teoretycznej, pre-rejestrują przewidywania i stosują testy statystyczne do oceny tych przewidywań w oparciu o dowody empiryczne. Stanowią one kręgosłup badań społecznych, behawioralnych i zdrowotnych opartych na hipotezach.

Intuicja stojąca za metodą

Proszę myśleć o badaniach konfirmacyjnych jak o wyroku sądowym gotowym przed rozpoczęciem procesu — z tą różnicą, że „wyrok” to precyzyjnie sformułowana hipoteza wyprowadzona z wcześniejszej teorii, a nie uprzedzenie. Badacz mówi: „Teoria X przewiduje, że A jest pozytywnie powiązane z B. Zbiorę dane i przetestuję to twierdzenie”. Następnie badanie jest projektowane tak, aby dać temu przewidywaniu uczciwą szansę na obalenie. Jeśli dane są zgodne z przewidywaniem, teoria otrzymuje wsparcie empiryczne; jeśli nie, teoria musi zostać zmodyfikowana. To kryterium falsyfikowalności, wprowadzone przez Karla Poppera, odróżnia naukę konfirmacyjną od zwykłego spekulowania.

Historia

Fundament filozoficzny badań konfirmacyjnych leży w falsyfikacjonizmie Karla Poppera, wyrażonym w Logik der Forschung (1934; przetłumaczone jako The Logic of Scientific Discovery, 1959), który głosił, że hipotezy naukowe muszą być zdolne do obalenia przez dowody empiryczne. Zasada ta została zoperacjonalizowana w naukach społecznych poprzez statystykę testowania hipotez Neymana-Pearsona oraz poprzez apele o replikację ze strony metodologów takich jak Paul Meehl i Jacob Cohen w latach 1960–1990. Kryzys replikacji z lat 2010. zintensyfikował skupienie na pre-rejestracji jako praktycznym mechanizmie egzekwowania logiki konfirmacyjnej.

Kiedy stosować

Stosuj badania konfirmacyjne, gdy istnieje konkretna teoria lub model i chcesz ocenić jego przewidywania w oparciu o nowe dowody empiryczne — na przykład, testując, czy zweryfikowana interwencja zmniejsza lęk w nowej populacji, lub czy model strukturalny zaangażowania organizacyjnego sprawdza się w innym kontekście kulturowym. Wymaga to wystarczająco dużej próby (określonej przez analizę mocy a priori, zazwyczaj N >= 80–100 dla średnich efektów), wyników ilościowych i jasno falsyfikowalnych hipotez sformułowanych przed zebraniem danych. Nie stosuj projektu konfirmacyjnego, gdy brakuje ci wcześniejszej podstawy teoretycznej dla hipotez, gdy konstruktów nie operacjonalizowano jeszcze za pomocą zweryfikowanych miar, lub gdy celem jest generowanie, a nie testowanie idei — w takich przypadkach bardziej odpowiednie są projekty eksploracyjne lub opisowe.

Ograniczenia i uwagi

  • Wymaga dobrze rozwiniętej ramy teoretycznej; nie może zastąpić pracy eksploracyjnej, gdy dziedzina jest słabo poznana.
  • Pojedyncze badanie konfirmacyjne rzadko dostarcza ostatecznego dowodu — replikacja jest potrzebna przed wyciągnięciem mocnych wniosków.
  • Wyniki są ograniczone przez trafność operacjonalizacji i reprezentatywność próby.
  • Ścisłe przestrzeganie protokołów pre-rejestracji wymaga dyscypliny; nieujawnione odchylenia podważają twierdzenie o konfirmacyjności.
  • Binarny schemat testowania hipotez (odrzuć / nie odrzuć) może zaciemniać ciągły charakter akumulacji dowodów.

Warunki podane w źródle nie zastępują niezależnego przeglądu naukowego ani walidacji przez silnik analityczny.

Mocne strony

  • Dostarcza najsilniejszych dowodów za lub przeciw konkretnemu twierdzeniu teoretycznemu, gdy utrzymywana jest pre-rejestracja.
  • Pre-specyfikowane hipotezy i plany analiz eliminują wiele problemów z wolnością stopni, które zawyżają wskaźniki fałszywie pozytywnych wyników.
  • Zgodne ze standardami otwartej nauki i powtarzalności coraz częściej wymaganymi przez czasopisma i organy finansujące.
  • Umożliwia akumulację wiedzy poprzez bezpośrednią replikację w niezależnych badaniach.
  • Analiza mocy statystycznej zapewnia, że badanie ma odpowiednią wielkość, aby wykryć oczekiwany efekt.

Zastosowania

  • Testowanie, czy teoretycznie wyprowadzona interwencja (np. protokół terapii poznawczo-behawioralnej) zmniejsza nasilenie objawów w próbie klinicznej.
  • Ocena, czy model równań strukturalnych satysfakcji z pracy replikuje się w nowym kontekście krajowym lub kulturowym.
  • Potwierdzanie przewidywanej struktury czynnikowej skali psychologicznej w niezależnej próbie walidacyjnej przy użyciu konfirmacyjnej analizy czynnikowej (CFA).
  • Ocena, czy pre-specyfikowana zmienna pośrednicząca (np. samoefektywność) przekazuje wpływ leczenia na wynik.
  • Replikowanie opublikowanej korelacji między dwoma konstruktami w nowej populacji w celu oceny generalizowalności istniejącego wyniku.
  • Testowanie interwencji farmakologicznej lub edukacyjnej w porównaniu z grupą kontrolną z wynikami i analizą pre-rejestrowanymi w rejestrze badań klinicznych lub otwartej nauki.

Jak to działa

Jak to działa

1

Badacz zaczyna od ustalonej ramy teoretycznej i wyprowadza jedną lub więcej precyzyjnych, falsyfikowalnych hipotez. Każda hipoteza określa oczekiwany kierunek lub wielkość związku lub różnicy przed zebraniem jakichkolwiek danych. Pre-rejestracja hipotez (na platformach takich jak OSF lub AsPredicted) jest coraz częściej wymagana w celu zapobiegania post-hoc przekształcaniu wyników eksploracyjnych w konfirmacyjne.

2

Każdy konstrukt teoretyczny jest tłumaczony na mierzalne zmienne za pomocą zweryfikowanych narzędzi, skal lub operacjonalizacji. Strategia próbkowania, wielkość próby (określona za pomocą analizy mocy a priori), procedury zbierania danych i używane testy statystyczne są określone z góry. Ta pre-specyfikacja formalnie odróżnia badanie konfirmacyjne od eksploracyjnego.

3

Dane są zbierane zgodnie z pre-specyfikowanym protokołem — zazwyczaj za pomocą standaryzowanych ankiet, ustrukturyzowanych obserwacji lub ekstrakcji z wtórnych zbiorów danych. Ścisłe przestrzeganie protokołu jest niezbędne; odchylenia muszą być udokumentowane i zgłoszone, aby zachować konfirmacyjny charakter badania.

4

Stosuje się pre-specyfikowany test statystyczny (np. test t, ANOVA, regresja, modelowanie równań strukturalnych). Wynik jest oceniany w odniesieniu do pre-ustalonej reguły decyzyjnej — zazwyczaj poziomu alfa ustalonego a priori (zwykle 0,05 lub 0,01 dla bardziej rygorystycznych twierdzeń konfirmacyjnych). Wielkości efektów i przedziały ufności są raportowane obok wartości p, aby przekazać znaczenie praktyczne.

5

Badacz wyciąga wnioski dotyczące tego, czy dane potwierdzają, czy nie potwierdzają każdej hipotezy. Brak odrzucenia hipotezy zerowej nie potwierdza hipotezy zerowej; oznacza to niewystarczające dowody na rzecz hipotezy alternatywnej. Wnioski są ograniczone przez projekt badania, próbę i operacjonalizacje. Prawdziwe wyniki konfirmacyjne powtarzane w niezależnych próbach niosą najsilniejszy ciężar dowodowy.

Częste pułapki

  • HARKing (Hipotezowanie po Poznaniu Wyników) — prezentowanie post-hoc wyników eksploracyjnych tak, jakby były to pre-specyfikowane hipotezy konfirmacyjne, zawyża wskaźniki fałszywie pozytywnych wyników i jest uważane za formę nadużycia badawczego.
  • Niedostatecznie uwarunkowane projekty — brak przeprowadzenia analizy mocy a priori skutkuje badaniami, które nie mogą wiarygodnie wykryć rzeczywistych efektów, prowadząc do niejednoznacznych wyników zerowych, które są nieinformacyjne.
  • Błędna interpretacja nieistotnego wyniku jako potwierdzenia hipotezy zerowej — wartość p powyżej alfa oznacza jedynie, że dowody na rzecz hipotezy alternatywnej były niewystarczające, a nie że hipoteza zerowa jest prawdziwa.
  • Używanie niezweryfikowanych lub ad hoc miar — konfirmacyjne wnioski dotyczące konstruktów teoretycznych są tylko tak mocne, jak trafność narzędzi użytych do ich operacjonalizacji.
  • Przeprowadzanie wielu nieplanowanych analiz przy jednoczesnym raportowaniu tylko tych, które są istotne — jest to p-hacking i niszczy logikę wnioskowania projektu konfirmacyjnego.

Najczęściej zadawane pytania

Jaka jest różnica między badaniami konfirmacyjnymi a eksploracyjnymi?

Badania eksploracyjne generują hipotezy lub modele na podstawie danych, gdy dziedzina jest słabo poznana; badania konfirmacyjne testują hipotezy wyprowadzone z wcześniejszej teorii w oparciu o nowe dane. Kluczowa formalna różnica polega na czasie: w badaniach konfirmacyjnych hipotezy i plany analiz są w pełni określone przed zebraniem danych; w badaniach eksploracyjnych wyłaniają się one podczas lub po analizie. Oba służą ważnym celom, ale tylko pre-specyfikowane testy konfirmacyjne kontrolują wskaźnik fałszywie pozytywnych wyników na ustalonym poziomie alfa.

Czy pre-rejestracja jest obowiązkowa dla badań konfirmacyjnych?

Ściśle rzecz biorąc, pre-rejestracja jest mechanizmem, który sprawia, że badanie jest weryfikowalnie konfirmacyjne, a nie tylko tak nazwane. Bez oznaczonej czasem, publicznie dostępnej pre-rejestracji czytelnicy nie mogą odróżnić pre-specyfikowanych hipotez od post-hoc racjonalizacji. Wiele czasopism, szczególnie w dziedzinie psychologii i medycyny, wymaga obecnie pre-rejestracji dla twierdzeń konfirmacyjnych. Platformy obejmują OSF Registries, AsPredicted i ClinicalTrials.gov.

Czy mogę przeprowadzić zarówno analizy konfirmacyjne, jak i eksploracyjne w tym samym badaniu?

Tak — jest to powszechne i uzasadnione, ale oba rodzaje analiz muszą być jasno rozróżnione w raporcie. Pre-specyfikowane analizy są oznaczone jako konfirmacyjne i interpretowane przy użyciu ustalonego poziomu alfa. Dodatkowe analizy przeprowadzone po przejrzeniu danych są oznaczone jako eksploracyjne, ich wyniki są traktowane jako generujące hipotezy, a nie testujące hipotezy, i wymagają replikacji przed wyciągnięciem mocnych wniosków.

Jaka wielkość próby jest potrzebna do badania konfirmacyjnego?

Wielkość próby powinna być określona przez analizę mocy a priori przed zebraniem danych, w oparciu o najmniejszą wielkość efektu, która byłaby teoretycznie znacząca, pożądaną moc (konwencjonalnie 0,80 lub 0,90) i poziom alfa. Dla średniego efektu (d Cohena = 0,50 lub r = 0,30) przy mocy = 0,80 i alfa = 0,05, typowe wymagania wynoszą około 50–130 uczestników, w zależności od testu. Używanie istniejącego zbioru danych do uzasadnienia wielkości próby post hoc nie jest praktyką konfirmacyjną.

Czy badanie konfirmacyjne udowadnia teorię?

Żadne pojedyncze badanie nie udowadnia teorii. Badanie konfirmacyjne może dostarczyć dowodów zgodnych z przewidywaniami teorii, ale dowód wymaga zbieżnych dowodów z wielu niezależnych badań przy użyciu różnych operacjonalizacji, prób i projektów. Ramy Poppera głoszą, że teorie mogą być jedynie potwierdzone lub obalone, a nie udowodnione — celem jest akumulacja powtarzalnych, falsyfikowalnych dowodów w czasie.

Pokrewne metody

Źródła

  1. Popper, K. R. (1959). The Logic of Scientific Discovery. Hutchinson.

    ISBN: 978-0415278447
    Skopiowano.
  2. Kline, R. B. (2013). Beyond Significance Testing: Statistics Reform in the Behavioral Sciences (2nd ed.). American Psychological Association.

    ISBN: 978-1433812378
    Skopiowano.