Badania podłużne — projekt badania ankietowego z powtarzanymi pomiarami
- Autor metody
- Survey methodology tradition; codified in social sciences by scholars including W.S. Robinson (1950) and later Scott Menard
- Rok
- Mid-20th century (formalized ~1950s–1970s)
- Typ
- Quantitative observational research design
- Rodzina
- Survey / observational design
Ten tekst jest tłumaczeniem maszynowym i nie został jeszcze sprawdzony. Przeczytaj oryginał po angielsku
Do czego służy?
Badania podłużne typu survey polegają na zbieraniu ustrukturyzowanych danych z kwestionariuszy od tych samych osób (lub jednostek) w co najmniej dwóch punktach czasowych.
W przeciwieństwie do jednorazowego badania przekrojowego, ten projekt pozwala uchwycić zmiany, stabilność i porządek czasowy zmiennych — umożliwiając badaczom śledzenie trajektorii, testowanie sekwencji przyczynowych i odróżnianie efektów kohortowych od efektów starzenia się w ramach ilościowych.
Intuicja stojąca za metodą
Wyobraźmy sobie, że chcemy wiedzieć, czy nowy program nauczania faktycznie poprawia nastawienie uczniów do matematyki w ciągu roku — a nie tylko jakie jest to nastawienie w jednym momencie. Podłużne badanie ankietowe śledzi tych samych uczniów na początku roku, w połowie roku i na końcu roku, zadając za każdym razem identyczne lub równoważne pytania. Ponieważ te same osoby odpowiadają wielokrotnie, można bezpośrednio porównać zmiany u każdej osoby, zamiast wnioskować o nich na podstawie różnych osób w różnych momentach. Struktura czasowa nadaje temu projektowi moc analityczną: można obserwować sekwencje zmian, a nie migawki.
Historia
Stosowanie powtarzanych w czasie badań ankietowych wyłoniło się w naukach społecznych w połowie XX wieku. Artykuł W.S. Robinsona z 1950 roku na temat korelacji ekologicznych i indywidualnych zwrócił uwagę na ograniczenia danych przekrojowych w zakresie wnioskowania na poziomie indywidualnym, motywując do projektów panelowych. Wielkoskalowe programy badań podłużnych typu survey — w tym Panel Study of Income Dynamics (PSID, uruchomiony w 1968 r.) i National Longitudinal Surveys (NLS) w Stanach Zjednoczonych — zademonstrowały wykonalność i wartość naukową śledzenia tych samych respondentów przez dziesięciolecia. Podręcznik Scotta Menarda (1991, wyd. 2. 2002) i tom pod redakcją Petera Lynna na temat metodologii badań podłużnych typu survey (2009) skodyfikowały najlepsze praktyki w zakresie projektowania próby, zarządzania wycofywaniem się uczestników i analizy.
Kiedy stosować
Należy stosować badania podłużne typu survey, gdy kluczowe pytanie dotyczy zmian w czasie, porządku czasowego zmiennych lub rozwoju wyników u osób lub jednostek — pytań, na które nie można odpowiedzieć za pomocą badania przekrojowego. Jest to dobrze dopasowane do badania zmian postaw, trajektorii rozwojowych, ścieżek kariery, zachowań zdrowotnych i efektów polityki, gdy manipulacja eksperymentalna jest niemożliwa lub nieetyczna. Projekt wymaga stabilnej, możliwej do śledzenia próby; wystarczających funduszy i zdolności instytucjonalnych do zbierania danych w wielu falach; oraz gotowości do zarządzania wycofywaniem się uczestników. NIE należy go stosować, gdy: (1) potrzebny jest jedynie szacunek rozpowszechnienia w jednym punkcie czasowym — badanie przekrojowe jest bardziej efektywne; (2) okres badania jest zbyt krótki, aby nastąpiła znacząca zmiana; (3) śledzenie uczestników jest operacyjnie niemożliwe; lub (4) powtarzane pomiary mogą spowodować efekty testowania, które zanieczyszczają mierzoną konstrukcję.
Ograniczenia i uwagi
- Wycofywanie się uczestników panelu zagraża trafności wewnętrznej: uczestnicy, którzy rezygnują, często różnią się systematycznie od tych, którzy pozostają, wprowadzając błąd selekcji.
- Powtarzane podawanie tego samego narzędzia może prowadzić do efektów testowania — uczestnicy uczą się lub stają się uwrażliwieni na pytania, zawyżając obserwowaną zmianę.
- Wymagające logistycznie i kosztowne: śledzenie uczestników, zarządzanie danymi kontaktowymi i utrzymanie zaangażowania w kolejnych falach wymaga znacznych zasobów.
- Długie horyzonty czasowe oznaczają, że zewnętrzne zdarzenia (efekty historyczne, pandemie, zmiany polityki) między falami stają się czynnikami zakłócającymi, które trudno odróżnić od badanych konstruktów.
- Równoważność pomiaru musi zostać ustalona we wszystkich falach przed interpretacją wyników zmian; brak jej testowania może prowadzić do błędnych wniosków dotyczących zmian.
Warunki podane w źródle nie zastępują niezależnego przeglądu naukowego ani walidacji przez silnik analityczny.
Mocne strony
- Ustanawia poprzedzanie czasowe — warunek wstępny wnioskowania przyczynowego — poprzez uchwycenie kolejności zmian zmiennych u tych samych uczestników.
- Oddziela zmiany wewnątrz-osobowe od różnic między-osobowych, dostarczając dokładniejszych oszacowań niż porównania przekrojowe.
- Wykrywa efekty kohortowe, okresowe i wiekowe, które stają się widoczne dopiero wtedy, gdy ci sami uczestnicy są śledzeni w czasie.
- Skalowalne do dużych, reprezentatywnych próbek narodowych, umożliwiając wnioskowanie na poziomie populacji o trajektoriach zmian.
- Kompatybilne z szerokim zakresem technik analitycznych (GCM, CLPM, SEM), które wykorzystują strukturę czasową danych.
- Bardziej efektywne niż rekrutacja nowych kohort w każdej fali przy badaniu tej samej populacji w czasie.
Zastosowania
- Śledzenie zmian w motywacji akademickiej, poczuciu własnej skuteczności lub dobrostanie uczniów w kolejnych latach szkolnych lub programach studiów.
- Monitorowanie ewolucji postaw politycznych, zamiarów głosowania lub zaangażowania obywatelskiego w panelach wyborczych na poziomie krajowym.
- Badanie zmian zachowań zdrowotnych — aktywności fizycznej, diety, używania substancji — w ciągu miesięcy lub lat w badaniach kohortowych.
- Ocena długoterminowych wyników na rynku pracy absolwentów różnych ścieżek edukacyjnych.
- Ewaluacja trwałych efektów kampanii zdrowia publicznego lub interwencji edukacyjnych po zakończeniu aktywnego programu.
- Badanie, jak postawy organizacyjne (satysfakcja z pracy, zaangażowanie) reagują na zmiany polityki w miejscu pracy w czasie.
Jak to działa
Jak to działa
Badacz określa pytania badawcze, wybiera populację docelową, ustala liczbę fal pomiarowych i odstępy czasowe między nimi, a także konstruuje lub adaptuje narzędzie ankietowe, które jest spójne we wszystkich falach. Wielkość próby musi uwzględniać przewidywane wycofywanie się uczestników, a procedury świadomej zgody powinny od początku uwzględniać udział w wielu falach.
Pierwsza fala (Czas 1) badania jest przeprowadzana na zrekrutowanej próbie, zbierając dane bazowe wszystkich kluczowych zmiennych — wyników, predyktorów i zmiennych kontrolnych. Wysoki wskaźnik odpowiedzi w tej fali jest kluczowy, ponieważ żaden uczestnik utracony na etapie bazowym nie może zostać odzyskany w późniejszych analizach.
W każdej kolejnej fali (Czas 2, Czas 3, …) ci sami uczestnicy są ponownie kontaktowani i ponownie poddawani badaniu ankietowemu. Spójne sformułowanie pytań, formaty odpowiedzi i tryb przeprowadzania badania we wszystkich falach zachowują równoważność pomiaru i pozwalają odróżnić rzeczywistą zmianę wyników od artefaktów pomiarowych.
Wycofywanie się uczestników panelu — rezygnacja uczestników między falami — jest oceniane poprzez porównanie osób, które ukończyły badanie w danej fali, z tymi, które go nie ukończyły, na podstawie charakterystyk bazowych. Jeśli osoby rezygnujące systematycznie różnią się od osób kontynuujących (selektywne wycofywanie się), stosuje się strategie analityczne, takie jak wielokrotne imputacje, ważenie prawdopodobieństwa odwrotnego lub estymacja metodą największej wiarygodności przy pełnej informacji, w celu zmniejszenia błędu.
Dane podłużne są analizowane metodami odpowiednimi dla powtarzanych pomiarów: modelowanie krzywych wzrostu, modele latentnych wyników zmian, modele panelowe z krzyżowym opóźnieniem, uogólnione równania estymujące lub regresja mieszanych efektów. Wybrany model zależy od tego, czy głównym zainteresowaniem jest zmiana na poziomie średniej, indywidualne trajektorie, czy wzajemne relacje przyczynowe między zmiennymi w czasie.
Częste pułapki
- Ignorowanie selektywnego wycofywania się: zakładanie, że osoby, które ukończyły badanie w danej fali, są reprezentatywne dla pierwotnej próby, bez testowania zróżnicowanego wycofywania się, prowadzi do obciążonych oszacowań zmian.
- Zmiana narzędzia ankietowego między falami: nawet drobne zmiany w sformułowaniach lub modyfikacje skali odpowiedzi unieważniają bezpośrednie porównania wyników w czasie.
- Niewystarczająca liczebność próby bazowej: obliczenie wielkości próby tylko pod kątem mocy badania przekrojowego, bez uwzględnienia przewidywanego wycofywania się uczestników, pozostawia badanie z niewystarczającą mocą w późniejszych falach.
- Traktowanie fali jako efektu stałego bez modelowania wzrostu: przeprowadzanie oddzielnych analiz ANOVA dla każdej fali zamiast modelu krzywej wzrostu lub modelu mieszanego, odrzuca informacje podłużne i zawyża błąd pierwszego rodzaju.
- Raportowanie tylko średnich na poziomie grupy: heterogeniczność indywidualnych trajektorii jest często istotnym merytorycznie wynikiem; trendy agregatowe mogą maskować zróżnicowane podgrupy.
Najczęściej zadawane pytania
Czym badania podłużne typu survey różnią się od badania panelowego?
Terminy te w dużej mierze się pokrywają. Badanie panelowe jest specyficznym typem badania podłużnego, w którym dokładnie ci sami uczestnicy są badani w każdej fali. Badania podłużne typu survey to szersza kategoria; obejmuje ona również badania trendów (różne próby losowe z tej samej populacji w każdej fali) i badania kohortowe (ta sama kohorta urodzeniowa lub wejścia, ale niekoniecznie ci sami respondenci). Kiedy ludzie mówią 'badanie podłużne', najczęściej mają na myśli projekt panelowy, ale precyzja jest ważna przy wyborze strategii analitycznej.
Ile fal jest potrzebnych?
Minimum dwie fale są wymagane do zaobserwowania zmiany, ale dwie fale wspierają tylko ograniczone modele (wyniki różnicowe, prosta regresja pre-post). Trzy lub więcej fal jest potrzebnych do oszacowania trajektorii wzrostu, testowania zmian nieliniowych i zastosowania modeli panelowych z krzyżowym opóźnieniem. Optymalna liczba fal zależy od przewidywanego kształtu zmiany i modelu analitycznego — więcej fal zapewnia większą moc do wykrywania i charakteryzowania trajektorii.
Jak radzić sobie z brakującymi danymi od osób, które zrezygnowały?
Najpierw należy ocenić, czy wycofywanie się jest całkowicie losowe (MCAR), losowe (MAR), czy nie-losowe (MNAR) poprzez porównanie osób, które zrezygnowały, z tymi, które ukończyły badanie, na podstawie zmiennych bazowych. W przypadku MAR — najbardziej uzasadnionego założenia w większości badań panelowych — preferowanymi podejściami są estymacja metodą największej wiarygodności przy pełnej informacji (FIML) lub wielokrotne imputacje. Proste usuwanie przypadków (listwise deletion) jest prawie nigdy nieodpowiednie, ponieważ odrzuca użyteczne dane i prowadzi do obciążonych oszacowań, gdy wycofywanie się nie jest całkowicie losowe.
Czy badanie podłużne może ustalić przyczynowość?
Poprzedzanie czasowe (warunek konieczny przyczynowości) można wykazać, gdy predyktor w Fali 1 przewiduje wynik w Fali 2 po uwzględnieniu wyniku w Fali 1, przy użyciu modeli panelowych z krzyżowym opóźnieniem lub regresji wyników różnicowych. Jednakże, niezmierzalne czynniki zakłócające, które pozostają stabilne lub zmieniają się między falami, nadal mogą zniekształcać oszacowania przyczynowe. Badania podłużne dostarczają silniejszych dowodów niż projekty przekrojowe, ale pozostają obserwacyjne; randomizowane eksperymenty są złotym standardem dla wnioskowania przyczynowego.
Jak ustalić, że moje narzędzie ankietowe mierzy ten sam konstrukt w każdej fali?
Poprzez testowanie równoważności pomiaru oparte na konfirmacyjnej analizie czynnikowej (CFA) (Vandenberg & Lance, 2000). Minimum to równoważność konfiguralna i metryczna, które powinny zostać ustalone przed porównaniem średnich latentnych; równoważność skalarna jest wymagana do porównania średnich obserwowanych. Jeśli stwierdzono częściową równoważność, należy ograniczyć tylko niezmienne parametry i interpretować zmiany w niezmiennych pozycjach z ostrożnością.
Pokrewne metody
Źródła
Menard, S. (2002). Longitudinal Research (2nd ed.). Sage Publications.
ISBN: 978-0761922452Skopiowano.Lynn, P. (Ed.). (2009). Methodology of Longitudinal Surveys. Wiley.
ISBN: 978-0470018712Skopiowano.