Porównawcza ilościowa analiza treści
- Autor metody
- Bernard Berelson (quantitative content analysis); Kimberly Neuendorf (codebook systematization); Hallin & Mancini (comparative media application)
- Rok
- 1952 (Berelson); comparative extensions prominent from 1980s onward
- Typ
- Quantitative observational research design
- Rodzina
- Survey / observational design
Ten tekst jest tłumaczeniem maszynowym i nie został jeszcze sprawdzony. Przeczytaj oryginał po angielsku
Do czego służy?
Porównawcza ilościowa analiza treści to systematyczna, powtarzalna metoda liczenia i kategoryzowania cech treści komunikacyjnych – takich jak relacje w wiadomościach, posty w mediach społecznościowych czy dokumenty polityczne – w obrębie dwóch lub więcej grup, okresów czasowych, mediów lub krajów.
Poprzez zastosowanie ustandaryzowanego kodeksu kodowania do każdego kontekstu porównawczego, metoda ta ujawnia wzorce podobieństw i różnic w sposobie reprezentowania tematów, ram interpretacyjnych, aktorów czy sentymentów, a także umożliwia statystyczne testowanie tych różnic.
Intuicja stojąca za metodą
Wyobraźmy sobie, że chcemy dowiedzieć się, czy gazety w trzech różnych krajach relacjonują zmiany klimatu w podobny sposób, czy też z wyraźnymi naciskami. Opracowalibyśmy schemat kodowania, który przekształca obserwowalne cechy treści – jakie źródła są cytowane, jakie ramy interpretacyjne się pojawiają, ile miejsca jest poświęcone – w liczby. Następnie zastosowalibyśmy ten sam schemat do próbek z każdego kraju i porównalibyśmy uzyskane tabele częstości statystycznie. To jest podstawowa logika: przekształcić treść w liczby, a następnie porównać liczby w różnych kontekstach. Warstwa porównawcza jest tym, co podnosi analizę treści w jednym kontekście do poziomu uogólnialnych, kontrastowych wniosków.
Historia
Ilościowa analiza treści została usystematyzowana przez Bernarda Berelsona w jego fundamentalnym tekście z 1952 roku, który ustanowił definiujące cechy metody: obiektywność, systematyczność i kwantyfikację. Harold Lasswell i współpracownicy zastosowali ją do analizy propagandy wojennej w latach 40. XX wieku, nadając metodzie wczesną legitymację instytucjonalną. Wymiar porównawczy rozwijał się wraz z tym, jak badacze komunikacji zaczęli prowadzić badania międzykrajowe w latach 80. i 90. XX wieku, zwłaszcza w badaniach porównawczych dziennikarstwa i systemów medialnych (np. Hallin i Mancini, 2004). Podręcznik Kimberly Neuendorf z 2002 roku stał się standardowym odniesieniem metodologicznym dla stosowanej analizy treści, w tym projektów porównawczych.
Kiedy stosować
Używaj porównawczej ilościowej analizy treści, gdy pytanie badawcze wyraźnie obejmuje kontrastowanie, jak treść różni się między grupami, mediami, krajami lub punktami czasowymi, i gdy ta treść może być reprezentowana przez obserwowalne, kodowalne cechy. Jest ona odpowiednia dla dużych i średnich korpusów, gdzie kodowanie ręczne jest wykonalne, lub gdzie kodowanie automatyczne (np. oparte na słownikach lub nadzorowane uczenie maszynowe) może zostać zweryfikowane na podstawie ludzkich ocen. Nie używaj jej, gdy pytanie badawcze dotyczy znaczeń ukrytych, niuansów retorycznych lub głębi interpretacyjnej – analiza jakościowa lub krytyczna analiza dyskursu jest bardziej odpowiednia dla tych celów. Unikaj jej, gdy konteksty porównawcze różnią się tak strukturalnie, że nie można osiągnąć konceptualnej równoważności kodów; narzucenie jednego kodeksu kodowania na nieporównywalne konteksty prowadzi do mylących porównań.
Ograniczenia i uwagi
- Ograniczona do manifestacyjnych, obserwowalnych cech treści; ukryte znaczenie, niejednoznaczność tonu i ironia zależna od kontekstu są słabo uchwycone przez schematy kodowania.
- Równoważność konceptualna między językami i kulturami jest trudna do osiągnięcia i rzadko w pełni weryfikowalna.
- Opracowanie kodeksu kodowania jest czasochłonne, a słaba operacjonalizacja podważa całe badanie, nawet gdy kodowanie jest niezawodne.
- Wyniki opisują to, co pojawia się w korpusie treści, a nie dlaczego twórcy podjęli takie wybory ani jak odbiorcy interpretują treść.
- Duże korpusy porównawcze wymagają znacznego szkolenia i nadzoru koderów, co zwiększa zapotrzebowanie na zasoby.
Warunki podane w źródle nie zastępują niezależnego przeglądu naukowego ani walidacji przez silnik analityczny.
Mocne strony
- Dostarcza przejrzystych, powtarzalnych wyników, ponieważ kodeks kodowania, próbka i zasady kodowania są w pełni udokumentowane.
- Wspiera statystyczne uogólnianie z próbkowanej treści na zdefiniowany korpus, gdy próbkowanie jest rygorystyczne.
- Umożliwia bezpośrednie, statystyczne testowanie różnic między kontekstami porównawczymi, zamiast opierać się na wrażeniach.
- Dobrze się skaluje: po opracowaniu kodeksu kodowania można go zastosować do bardzo dużych korpusów, w tym z pomocą kodowania automatycznego.
- Szczególnie potężna dla projektów podłużnych i porównawczych, które śledzą zmiany w czasie w wielu kontekstach jednocześnie.
- Sprawdzenie zgodności międzykoderów zapewnia wbudowany mechanizm kontroli jakości, którego zazwyczaj brakuje w podejściach jakościowych.
Zastosowania
- Porównywanie ram interpretacyjnych imigracji, zmian klimatu lub terroryzmu w różnych krajowych mediach informacyjnych.
- Śledzenie, jak reklama polityczna różni się w zależności od systemów wyborczych lub okresów kampanii.
- Analiza reprezentacji płci lub mniejszości w mediach rozrywkowych w różnych krajach lub dekadach.
- Porównywanie dyskursu w mediach społecznościowych na temat kryzysów zdrowia publicznego w różnych platformach lub społecznościach językowych.
- Badanie, jak dokumenty polityczne różnie kształtują reformę edukacji w różnych systemach szkolnych.
- Benchmarking komunikacji organizacyjnej – porównywanie raportowania społecznej odpowiedzialności biznesu w różnych branżach lub regionach.
Jak to działa
Jak to działa
Zidentyfikuj jednostkę analizy – dyskretny element treści, który będzie kodowany (np. artykuł prasowy, post w mediach społecznościowych, zdanie lub akapit) – i określ wymiar porównania: które kraje, media, punkty czasowe lub grupy będą kontrastowane. Ta ramowa definicja określa, które porównania są znaczące i jakie czynniki zakłócające muszą być kontrolowane.
Opracuj kodeks kodowania, który operacjonalizuje każdą zmienną zainteresowania w kategorie wzajemnie wykluczające się i wyczerpujące. Każda kategoria musi być zdefiniowana na tyle precyzyjnie, aby dwaj niezależni koderzy czytający tę samą jednostkę przypisali ten sam kod. W badaniu porównawczym kodeks kodowania musi być konceptualnie równoważny we wszystkich kontekstach – może to wymagać tłumaczenia i tłumaczenia zwrotnego podczas pracy w różnych językach.
Przygotuj ramę próbkowania dla każdego kontekstu porównawczego i zastosuj spójną strategię próbkowania (np. skonstruowane tygodnie, próbkowanie losowe, pełny spis z natury dla określonego okresu), tak aby treść z każdego kontekstu była porównywalna pod względem ilości i reprezentatywności. Udokumentuj decyzje dotyczące próbkowania, aby badanie mogło zostać powtórzone.
Zastosuj kodeks kodowania do próbkowanej treści, zazwyczaj używając co najmniej dwóch niezależnych koderów na kontekst. Każdy koder pracuje nad jednostkami i przypisuje wartości dla każdej zmiennej. Koderzy powinni być przeszkoleni w zakresie kodeksu kodowania i, w miarę możliwości, nieświadomi hipotez badawczych.
Oblicz zgodność międzykoderów dla każdej zmiennej, używając odpowiednich statystyk – kappa Cohena (κ) lub alfa Krippendorffa (α) dla zmiennych kategorycznych, współczynnik korelacji wewnątrzklasowej (ICC) dla zmiennych na poziomie interwałowym. Akceptowalne progi różnią się w zależności od typu zmiennej, ale κ lub α ≥ 0,70 jest powszechnie cytowanym minimum. Zmienne, które nie spełniają kryteriów zgodności, muszą zostać poprawione lub usunięte przed analizą.
Agreguj zakodowane dane według kontekstu porównawczego i przeprowadź statystyki wnioskowania, aby przetestować różnice: testy chi-kwadrat lub modele log-liniowe dla zmiennych kategorycznych, testy t lub ANOVA dla miar ciągłych oraz statystyki wielkości efektu, aby przekazać znaczenie praktyczne. Raportuj wyniki oddzielnie dla każdego kontekstu przed dokonaniem porównań międzykontekstowych, aby zachować przejrzystość.
Częste pułapki
- Traktowanie zgodności międzykoderów jako końcowego etapu, a nie procesu iteracyjnego – zgodność powinna być sprawdzana podczas szkolenia koderów i rewizji kodeksu kodowania, a nie tylko po zakończeniu całego kodowania.
- Używanie kontekstów porównawczych, które są strukturalnie nieporównywalne – jeśli systemy medialne, środowiska prawne lub konwencje gatunkowe różnią się tak bardzo, że ten sam kod oznacza różne rzeczy, porównania liczbowe są mylące.
- Przeciążanie kodeksu kodowania – dodawanie zmiennych wykraczających poza wymagania pytań badawczych zwiększa obciążenie koderów, zmniejsza zgodność i rzadko dodaje wartość interpretacyjną.
- Mylenie niezawodnego kodu z trafnym pomiarem – dwaj koderzy konsekwentnie przypisujący ten sam kod nie gwarantują, że kod uchwyci to, co zamierza badacz; trafność musi być uzasadniona teoretycznie.
- Ignorowanie wielkości efektu – statystycznie istotne różnice w dużych korpusach mogą być trywialnie małe w sensie merytorycznym; zawsze raportuj statystyki wielkości efektu obok wartości p.
Najczęściej zadawane pytania
Czym porównawcza ilościowa analiza treści różni się od standardowej ilościowej analizy treści?
Standardowa ilościowa analiza treści opisuje treść w obrębie jednego, zdefiniowanego korpusu. Wariant porównawczy jest wyraźnie zaprojektowany do kontrastowania dwóch lub więcej kontekstów – krajów, okresów czasowych, mediów lub grup – przy użyciu kodeksu kodowania, który jest celowo skonstruowany dla konceptualnej równoważności między tymi kontekstami. Dodanie wymiaru porównawczego wymaga dodatkowych kroków projektowych dotyczących równoważności, parytetu próbkowania i odpowiednich statystyk wnioskowania dla kontrastów międzygrupowych.
Jaki próg zgodności międzykoderów należy raportować?
Najczęściej cytowanym minimum dla alfa Krippendorffa (α) lub kappa Cohena (κ) jest 0,70 dla zmiennych kategorycznych, przy czym 0,80 lub więcej jest preferowane dla zmiennych kluczowych. Dla zmiennych na poziomie interwałowym bardziej odpowiednie są współczynniki korelacji wewnątrzklasowej (ICC). Zgodność powinna być obliczana dla każdej zmiennej, a nie jako jeden ogólny wynik; słabe zmienne muszą zostać poprawione lub usunięte przed przystąpieniem do analizy.
Czy mogę używać kodowania automatycznego do porównawczej analizy treści?
Tak, ale z ostrożnością. Metody oparte na słownikach (np. LIWC, VADER) lub nadzorowane klasyfikatory uczenia maszynowego mogą obsługiwać duże korpusy, ale muszą zostać zweryfikowane na podstawie kodowania ludzkiego dla każdego języka i kontekstu w porównaniu. Nie można zakładać, że klasyfikator wytrenowany na danych w języku angielskim zostanie niezawodnie przeniesiony na treści w języku francuskim lub arabskim. Weryfikuj oddzielnie dla każdego kontekstu i raportuj statystyki walidacji obok swoich wyników.
Jak duża musi być moja próbka?
Nie ma uniwersalnego minimum, ale każda komórka porównawcza powinna zawierać wystarczającą liczbę jednostek, aby wykryć oczekiwane wielkości efektu z odpowiednią mocą. Praktycznym punktem wyjścia dla testów chi-kwadrat między grupami jest minimum 30-50 zakodowanych jednostek na komórkę, z potrzebą większej liczby, jeśli oczekiwane częstości dla niektórych kategorii są małe. Oprogramowanie do analizy mocy (np. G*Power) może pomóc w planowaniu wielkości próby, gdy oszacowano wielkości efektu z wcześniejszej literatury.
Co jeśli moje konteksty porównawcze używają różnych języków?
Instrukcje kodeksu kodowania powinny być przetłumaczone i przetłumaczone zwrotnie dla każdego języka, a koderzy rodzimi powinni być używani na kontekst. Przetestuj konceptualną równoważność, pilotażowo stosując kodeks kodowania do małej podgrupy treści z każdego kontekstu przed rozpoczęciem pełnego kodowania. Tam, gdzie zmienna nie może być równoważna w różnych językach – na przykład znacznik ramowania gramatycznego, który istnieje w jednym języku, ale nie w innym – rozważ usunięcie jej z porównania międzykontekstowego lub ograniczenie porównań do kontekstów, w których równoważność zachodzi.
Pokrewne metody
Źródła
Berelson, B. (1952). Content Analysis in Communication Research. Free Press.
Otwórz odnośnik do publikacjiSkopiowano.Neuendorf, K. A. (2002). The Content Analysis Guidebook. Sage.
ISBN: 978-0761919773Skopiowano.