コーパス言語学
- 提唱者
- John Sinclair
- 年
- 1980
- 種類
- Empirical process pipeline
- 系統
- Empirical Linguistics
この文章は機械翻訳で、まだ確認されていません。 英語の原文を読む
何をする手法か?
コーパス言語学は、コンピュータで処理される大規模で代表的なテキスト(コーパス)のコレクションに基づいた言語研究である。John Sinclairらによって開拓されたこの手法は、統計分析、コンコーダンシング、計算ツールを用いて、実際の言語使用のパターンを調査する。コーパス言語学は、英語やその他の言語に対する我々の理解を変革し、これまで隠されていた頻度パターン、コロケーションの好み、レジスターのバリエーションを明らかにしてきた。それは理論言語学、応用言語教育、自然言語処理に役立つ。
手法の背後にある直感
言語コーパスは、実際の話し言葉や書き言葉の大規模な図書館のようなもので、注意深く選択され、整理されている。コーパス言語学者は、発明された文や孤立した観察に頼るのではなく、コンピュータに単語やフレーズのすべての出現例を見つけさせ、頻度を数え、どの単語が一緒に現れる傾向があるかを測定し、異なる種類のテキスト(新聞対小説、フォーマル対カジュアルな話し言葉)間のパターンを比較するように求める。数百万語にわたるパターンは、理論的な仮定を覆したり、予測を定量的厳密さで確認したりすることが多い。
歴史学
John Sinclairは1960年代から1980年代にかけてコーパス言語学を開拓し、Survey of English Usage、後にCOBUILDプロジェクトを構築した。デジタルストレージとコンピューティングパワーは、1990年代から2000年代にかけて指数関数的な成長を可能にした。British National Corpus、Corpus of Contemporary American English、Google Books Ngramデータセットのような主要なコーパスは、この分野を変革した。今日、コーパス手法は言語学、応用言語学、NLPにおいて標準となっている。
使うべき場面
実際の言語使用パターンを調査するため、経験的データで理論的仮説を検証するため、レジスターや方言間のバリエーションを理解するため、または自然言語処理(NLP)アプリケーションのための言語リソースを開発するために、コーパス言語学を使用する。コーパスは、高頻度現象、方言バリエーション、言語変化、および語彙意味論の研究に不可欠である。それらは実験的手法や内省的手法を補完する。
限界と注意点
- コーパスは有限なサンプルであるため、低頻度現象が適切に表現されない可能性があり、コーパスからの不在は、その形式が不可能であることを証明するものではない。
- 注釈(品詞タグ付け、解析)は、下流に伝播するエラーを導入する。手動注釈は高価であり、自動注釈は不完全である。
- 結果はコーパスの構成を反映する(例:書き言葉コーパスは話し言葉を均等に表現していない可能性がある)。選択におけるバイアスが発見に影響を与える。
- 頻度パターンは、能力を直接示さない。高頻度は、文法構造ではなく、談話慣習のようなパフォーマンス要因を反映する可能性がある。
出典に示された条件は、独立した科学的レビューや分析エンジンによる検証の代わりにはなりません。
強み
- 内省や発明された文への依存を減らし、実際の使用に基づいた言語パターンの経験的証拠を提供する。
- 大規模で多様なデータセットにわたる頻度、コロケーション、およびバリエーションの定量的分析を可能にする。
- 標準化された比較可能なコーパスを使用することにより、言語間およびレジスター間の比較を容易にする。
- データなしでは予測が困難なパターン(例:意味的選好、レジスターマーカー)の発見をサポートする。
応用
- 英語の句動詞(例:「put up with」、「run into」)の頻度と使用パターンを研究し、頻度別に段階分けされた教材を開発する。
- コロケーションパターンを分析し、出力が自然な単語の共起の好みを尊重するようにすることで、機械翻訳を改善する。
- 時間経過に伴う言語変化を、時代別コーパス(例:Google Books Ngram Viewer)間の単語頻度とコロケーションを比較することによって調査する。
- 小規模で専門的なコーパスを構築し、それらを分析して辞書や文法を作成することにより、消滅危機言語を文書化する。
- 英語のレジスターバリエーション(学術、ニュース、会話)を研究し、社会文脈間で語彙と構文がどのように異なるかを理解する。
使い方
使い方
デジタル形式で、ジャンル、レジスター、話者/書き手の多様性を確保した、大規模で代表的なテキストコレクション(通常数百万語)をコンパイルする。
トークン化(単語に分割)、品詞タグ付け、およびオプションで構文または意味注釈(解析、固有表現認識)を追加する。
コンコーダンシングソフトウェアを使用して、ターゲットの単語またはフレーズのすべての出現を抽出し、頻度を数え、コロケーションを計算し、頻度リストと分布を生成する。
統計的手法(頻度分析、カイ二乗検定、コロケーション指標)を適用して、パターンを特定し、関連性の強さを測定し、言語のバリエーションをモデル化する。
言語構造、使用パターン、方言およびレジスターのバリエーションに関する結論を導き出し、経験的証拠に対して理論的予測を検証する。
よくある落とし穴
- コーパスの頻度が文法的許容度を直接反映すると仮定すること。不在のパターンは、文法的に誤っているのではなく、語用論的にマークされている可能性がある。低頻度は、言語的不可能性ではなく、談話コンテキストを反映する可能性がある。
- 注釈エラーを無視し、自動タグ付けされたデータをゴールドスタンダードとして扱うこと。特に重要な分析については、手動で注釈を検証すること。
- 一つのコーパスから言語全体に一般化しすぎること。コーパスの構成は重要である。英国国民コーパスからの結果は、他の地域の話し言葉英語には一般化しない可能性がある。
- コロケーションパターンにおける相関と因果関係の混同。二つの単語は、意味的または文 grammatical な依存関係ではなく、トピック(例:「雪」と「冬」)のために頻繁に共起する可能性がある。
よくある質問
コーパスはどのくらいの大きさが必要か?
研究課題によります。高頻度現象(一般的な単語、基本的な文型)については、数万語で十分です。まれな現象や詳細なバリエーションについては、数百万語が必要になる場合があります。経験則として、基本的な統計分析のために、ターゲット現象の出現が少なくとも30〜50回あるべきです。しかし、消滅危機言語の文書化には、数千語の小規模な専門コーパスでさえ価値があります。
コンコーダンスとは何か?
コンコーダンスとは、ターゲットの単語またはフレーズのすべての出現例のリストであり、通常はコンテキスト(通常は左右に1〜2行)で示されます。ターゲットが中央に配置され、スキャンしやすくなっています。コンコーダンスは、コロケーション(ターゲットの近くに定期的に現れる単語)、レジスターバリエーション、および構文パターンを明らかにします。最新のコーパスソフトウェアは、頻度カウントとソートオプションを備えたコンコーダンスを生成します。
コロケーションの強さをどのように測定するか?
いくつかの指標がコロケーションの強さ(関連性)を定量化します。相互情報量(MI)はランダムな共起からの逸脱を測定し、対数尤度比(LLR)は統計的検定であり、TスコアとDelta-Pは異なる方法で関連性を測定します。単一の指標が普遍的に最良ということはありません。異なる指標は異なる研究課題に適しています。低頻度のコロケーションが偶然に高い関連性を示すアーティファクトを避けるために、生の頻度を指標と併せて検査してください。
コーパスの証拠は、文が文法的に誤っていることを証明できるか?
いいえ。コーパスからの不在は、その特定のコレクションにおいて頻度が低いか存在しないことを示すだけであり、言語において不可能であることを示すものではありません。文は、文法性の問題ではなく、語用論的または談話的制約のためにまれである可能性があります。文法性に関する結論を導き出すために、コーパスの証拠と許容度判断、実験データ、および理論的推論を組み合わせてください。
関連する手法
参考文献
Sinclair, J. M. (1991). Corpus, Concordance, Collocation. Oxford: Oxford University Press.
出版物の文献を開くコピーしました。McEnery, T., & Hardie, A. (2012). Corpus Linguistics: Method, Theory and Practice. Cambridge: Cambridge University Press.
DOI 文献を開くコピーしました。Biber, D., Conrad, S., & Reppen, R. (2006). Corpus Linguistics: Investigating Language Structure and Use. Cambridge: Cambridge University Press.
出版物の文献を開くコピーしました。