比較定量的内容分析
- 提唱者
- Bernard Berelson (quantitative content analysis); Kimberly Neuendorf (codebook systematization); Hallin & Mancini (comparative media application)
- 年
- 1952 (Berelson); comparative extensions prominent from 1980s onward
- 種類
- Quantitative observational research design
- 系統
- Survey / observational design
この文章は機械翻訳で、まだ確認されていません。 英語の原文を読む
何をする手法か?
比較定量的内容分析は、ニュース報道、ソーシャルメディアの投稿、政策文書などのコミュニケーション内容の特徴を、2つ以上のグループ、期間、媒体、または国にわたって計数し、分類するための体系的で再現可能な手法です。標準化されたコードブックを各比較コンテキストに適用することで、トピック、フレーム、アクター、または感情がどのように表現されているかにおける類似点と相違点のパターンを明らかにし、それらの相違を統計的に検定することを可能にします。
手法の背後にある直感
例えば、3つの異なる国の新聞が気候変動を同様の方法で報道しているのか、それとも異なる強調点を持っているのかを知りたいとします。その場合、引用されている情報源、出現するフレーム、割かれているスペースの量など、観察可能な内容の特徴を数値に変換するコーディングスキームを開発します。次に、同じスキームを各国のサンプルに適用し、結果として得られる度数分布表を統計的に比較します。これが核となるロジックです。内容を計数に変換し、その計数をコンテキスト間で比較するのです。比較の層があることで、単一コンテキストの内容分析が、一般化可能で対照的な知見へと高められます。
歴史学
定量的内容分析は、Bernard Berelsonが1952年の基礎的な著作で体系化し、客観性、体系性、定量化という方法の定義的特徴を確立しました。Harold Lasswellとその同僚は1940年代に戦時プロパガンダ分析にこれを適用し、この方法に初期の制度的正当性を与えました。比較の側面は、1980年代から1990年代にかけてコミュニケーション研究者が国際比較研究(特に比較ジャーナリズムおよびメディアシステム研究、例:Hallin and Mancini, 2004)を開始するにつれて発展しました。Kimberly Neuendorfの2002年のハンドブックは、比較デザインを含む応用内容分析の標準的な方法論的参考文献となりました。
使うべき場面
比較定量的内容分析は、研究課題がグループ、媒体、国、または時点間で内容がどのように異なるかを明示的に対照することを含み、その内容が観察可能でコーディング可能な特徴によって表現できる場合に用います。手動コーディングが実行可能な大規模から中規模のコーパス、または自動コーディング(例:辞書ベースまたは教師あり機械学習)が人間の判断に対して検証できる場合に適切です。潜在的な意味、修辞的なニュアンス、または解釈的な深さに関する研究課題の場合には使用しないでください。これらの目的には質的または批判的談話分析がより適切です。比較コンテキストが構造的に異なりすぎて、コードの概念的等価性が達成できない場合には避けてください。測定不能なコンテキストに単一のコードブックを強制すると、誤解を招く比較が生じます。
限界と注意点
- 明白で観察可能な内容の特徴に限定されます。潜在的な意味、トーンの曖昧さ、文脈依存の皮肉は、コーディングスキームではうまく捉えられません。
- 言語や文化を超えた概念的等価性の達成は困難であり、完全に検証できることは稀です。
- コードブックの開発には時間がかかり、コーディングが信頼できる場合でも、不適切な操作化は研究全体を損ないます。
- 知見は内容コーパスに現れるものを記述するものであり、制作者がなぜそのような選択をしたのか、または視聴者が内容をどのように解釈するのかについては記述しません。
- 大規模な比較コーパスは、相当なコーダーの訓練と監督を必要とし、リソースの要求を高めます。
出典に示された条件は、独立した科学的レビューや分析エンジンによる検証の代わりにはなりません。
強み
- コードブック、サンプル、およびコーディング規則が完全に文書化されているため、透明で再現可能な知見が得られます。
- サンプリングが厳密である場合、サンプリングされた内容から定義されたコーパスへの統計的汎化をサポートします。
- 印象的な主張ではなく、比較コンテキスト間の差異を直接的かつ統計的に検定することを可能にします。
- 拡張性が高い:一度コードブックが開発されれば、自動コーディング支援を含め、非常に大規模なコーパスに適用できます。
- 複数のコンテキストにわたる時間的変化を同時に追跡する縦断的比較デザインに特に強力です。
- コーダー間信頼性チェックは、質的アプローチには通常欠けている、組み込みの品質管理メカニズムを提供します。
応用
- 移民、気候変動、またはテロリズムのフレーミングを各国のニュース媒体間で比較する。
- 選挙制度や選挙期間によって政治広告がどのように異なるかを追跡する。
- 国や年代を超えてエンターテイメントメディアにおけるジェンダーやマイノリティの表現を分析する。
- プラットフォームや言語コミュニティ間で公衆衛生危機に関するソーシャルメディアの言説を比較する。
- 学校制度によって教育改革に関する政策文書がどのように異なる枠組みで捉えられているかを調査する。
- 組織コミュニケーションのベンチマーク。業界や地域間で企業の社会的責任報告を比較する。
使い方
使い方
分析単位(コーディングされる離散的な内容要素。例:新聞記事、ソーシャルメディアの投稿、文、段落)を特定し、比較次元(どの国、媒体、時点、またはグループが対照されるか)を明確にします。この枠組みが、どのような比較が有意義であり、どのような交絡因子を制御する必要があるかを決定します。
関心のあるすべての変数を、相互に排他的で網羅的なカテゴリに操作化するコードブックを作成します。各カテゴリは、2人の独立したコーダーが同じ単位を読んだときに同じコードを割り当てるのに十分なほど正確に定義されなければなりません。比較研究の場合、コードブックはすべてのコンテキストで概念的に同等である必要があり、これは異なる言語を扱う際に翻訳と逆翻訳を必要とする場合があります。
各比較コンテキストのサンプリングフレームを作成し、一貫したサンプリング戦略(例:構成週、無作為抽出、定義された期間の全数調査)を適用して、各コンテキストからの内容が量と代表性において比較可能になるようにします。研究が再現できるようにサンプリングの決定を文書化します。
サンプリングされた内容にコードブックを適用します。通常、各コンテキストにつき少なくとも2人の独立したコーダーを使用します。各コーダーは単位を処理し、すべての変数に値を割り当てます。コーダーはコードブックについて訓練され、可能な限り研究仮説に盲目であるべきです。
適切な統計量を用いて、すべての変数についてコーダー間信頼性を計算します。カテゴリカル変数にはCohenのκ(カッパ)またはKrippendorffのα(アルファ)、間隔尺度変数には級内相関係数(ICC)を使用します。許容される閾値は変数のタイプによって異なりますが、κまたはα ≥ 0.70が広く引用される最小値です。信頼性チェックに失敗した変数は、分析前に修正または削除する必要があります。
コーディングされたデータを比較コンテキストごとに集計し、推測統計を実行して差異を検定します。カテゴリカル変数にはカイ二乗検定または対数線形モデル、連続尺度にはt検定またはANOVA、そして実質的な有意性を示すために効果量統計量を使用します。透明性を保つために、コンテキスト間の比較を行う前に、各コンテキストの知見を個別に報告します。
よくある落とし穴
- コーダー間信頼性を反復的なプロセスではなく最終段階として扱うこと。信頼性は、すべてのコーディングが完了した後だけでなく、コーダーの訓練中やコードブックの改訂中にチェックされるべきです。
- 構造的に比較不能な比較コンテキストを使用すること。メディアシステム、法的環境、またはジャンルの慣習が大きく異なり、同じコードが異なる意味を持つ場合、数値的な比較は誤解を招きます。
- コードブックの過負荷。研究課題が必要とする以上の変数を追加すると、コーダーの負担が増大し、信頼性が低下し、解釈的価値が追加されることは稀です。
- 信頼できるコードと有効な測定値を混同すること。2人のコーダーが常に同じコードを割り当てるからといって、そのコードが研究者の意図するものを捉えているとは限りません。妥当性は理論的に議論される必要があります。
- 効果量を無視すること。大規模なコーパスにおける統計的に有意な差異は、実質的な観点からはごくわずかである可能性があります。常にp値とともに効果量統計量を報告してください。
よくある質問
比較定量的内容分析は、標準的な定量的内容分析とどう異なりますか?
標準的な定量的内容分析は、単一の定義されたコーパス内の内容を記述します。比較変種は、2つ以上のコンテキスト(国、期間、媒体、またはグループ)を対照するために明示的に設計されており、それらのコンテキスト間で概念的等価性を意図的に構築したコードブックを使用します。比較次元の追加は、等価性、サンプリングの均等性、およびグループ間対照のための適切な推測統計に関する追加の設計ステップを必要とします。
どのようなコーダー間信頼性の閾値を報告すべきですか?
Krippendorffのα(アルファ)またはCohenのκ(カッパ)の最も広く引用される最小値は、カテゴリカル変数で0.70であり、中心的な変数では0.80以上が好ましいとされます。間隔尺度変数には、級内相関係数(ICC)がより適切です。信頼性は、単一の全体スコアとしてではなく、変数ごとに計算されるべきです。信頼性の低い変数は、分析を進める前に修正または削除する必要があります。
比較内容分析に自動コーディングを使用できますか?
はい、ただし注意が必要です。辞書ベースの手法(例:LIWC、VADER)や教師あり機械学習分類器は大規模なコーパスを処理できますが、比較における各言語およびコンテキストについて、人間のコーディングに対して検証される必要があります。英語データで訓練された分類器が、フランス語やアラビア語の内容に信頼性をもって転用できるとは限りません。各コンテキストで個別に検証し、検証統計を結果とともに報告してください。
サンプルサイズはどのくらい必要ですか?
普遍的な最小値はありませんが、各比較セルは、十分な検出力で期待される効果量を検出するのに十分な単位を含むべきです。グループ間カイ二乗検定の実用的な出発点としては、1セルあたり最低30〜50のコーディングされた単位が必要であり、一部のカテゴリの期待度数が小さい場合はさらに多くの単位が必要です。先行研究から効果量を推定できれば、G*Powerなどの検出力分析ソフトウェアがサンプルサイズ計画の指針となります。
比較コンテキストが異なる言語を使用している場合はどうすればよいですか?
コードブックの指示は、各言語に翻訳および逆翻訳され、各コンテキストでネイティブスピーカーのコーダーが使用されるべきです。本格的なコーディングを開始する前に、各コンテキストからの内容の小規模なサブセットでコードブックをパイロットテストし、概念的等価性を確認してください。ある言語には存在するが別の言語には存在しない文法的なフレーミングマーカーなど、変数がある言語間で等価にできない場合は、クロスコンテキスト比較からその変数を削除するか、等価性が成り立つコンテキストに比較を限定することを検討してください。
関連する手法
参考文献
Berelson, B. (1952). Content Analysis in Communication Research. Free Press.
出版物の文献を開くコピーしました。Neuendorf, K. A. (2002). The Content Analysis Guidebook. Sage.
ISBN:978-0761919773コピーしました。