コロケーション分析 — 言語連想
- 提唱者
- Church & Hanks
- 年
- 1990
- 種類
- Statistical text-mining technique
この文章は機械翻訳で、まだ確認されていません。 英語の原文を読む
何をする手法か?
コロケーション分析は、統計的なテキストマイニング技術であり、偶然の共起ではなく連想尺度を用いて、頻繁に共に現れる単語のペアや表現を特定する。チャーチとハンクス(1990)の辞書編纂研究で導入され、専門用語抽出や言語分析に用いられ、コーパス内で意味を持つ多単語単位を表面化させる。
手法の背後にある直感
単語の中には単純に共に現れるものがある。「強い紅茶」は自然に聞こえるが、「力強い紅茶」は意味が似ているにもかかわらず、そうは聞こえない。コロケーション分析は、生の頻度を超えて、偶然が予測するよりもはるかに頻繁に共に現れる単語のペアがどれかを問う。共起を統計的にスコアリングすることで、単に一般的な単語をリストアップするのではなく、テキストの本文に隠された意味のあるフレーズや定型表現を引き出す。
歴史学
コロケーション分析は統計的手法として、チャーチとハンクス(1990)によって確立された。彼らは辞書編纂のために単語連想規範と相互情報量(mutual information)を導入し、共起統計が意味のある単語ペアをどのように表面化できるかを示した。このアプローチは、マニングとシュッツ(1999)によって、より広範な統計的自然言語処理の分野で統合された。
使うべき場面
コロケーション分析は、適度なサイズのテキストコーパス(約50以上の文書)があり、単語頻度ではなく意味のある多単語単位を見つけたい場合に適合する。専門用語抽出や言語分析における探索的および記述的な作業に適している。安定した共起統計を得るのに十分なテキストがあり、ストップワードが最初にクリーニングされていることを前提としている。テキストが非常に少ない場合、連想スコアは信頼性が低下する。
限界と注意点
- 共起統計が安定するためには、十分に大きなコーパスが必要。
- 結果は前処理に大きく依存する — 残留したストップワードは連想を歪める。
- PMIのような尺度は、数回共起しただけのまれな単語ペアを過大評価することがある。
出典に示された条件は、独立した科学的レビューや分析エンジンによる検証の代わりにはなりません。
強み
- 単語頻度カウントでは見落とされる、意味のある多単語表現や定型フレーズを表面化させる。
- 統計的な連想尺度は、真の単語連想と偶然の隣接を区別する。
- 専門用語抽出や言語分析において、概念的にシンプルで適用が容易。
応用
- 専門用語抽出 — コーパス内のドメイン固有の多単語用語の特定。
- 辞書編纂と辞書構築、特徴的な単語連想の表面化。
- テキストの本文で単語がどのように組み合わされるかの言語学的および談話分析。
- 下流のテキストマイニングおよび情報抽出タスクのための候補フレーズの準備。
使い方
使い方
コーパスはトークン化され、クリーニングされ、ストップワードが削除されるため、高頻度の機能語が意味のある連想を圧倒しないようにする。一貫した前処理が、共起カウントを比較可能にし、結果のコロケーションを解釈可能に保つ。
候補となる単語のペア(通常はバイグラム)が形成され、コーパス全体での共起カウントが、各単語の個々の頻度と共に収集される。これらのカウントは、すべての連想尺度の基盤となる生データである。
各候補ペアは、統計的な連想尺度(例えば、点対数相互情報量(PMI))でスコアリングされ、単語が共に現れる頻度と、偶然によって共起すると予想される頻度を比較する。高いスコアは、偶然の隣接ではなく、真の連想を示す。
候補コロケーションは連想スコアによってランク付けされ、最も強いペアが選択される(例えば、PMIによる上位N個)。結果は、専門用語抽出または言語分析のための意味のある単語ペアと多単語表現のランク付けされたリストとなる。
よくある落とし穴
- ストップワード除去をスキップすると、高頻度の機能語が支配的になり、実際のコロケーションが埋もれてしまう。
- 少なすぎるテキストで分析を実行すると、不安定で信頼性の低い連想スコアが得られる。
- PMIは非常にまれなペアのスコアをインフレさせるため、ランク付けの前に最小共起カウントを適用する。
- 連想テストなしで高頻度ペアをコロケーションとして扱うことは、一般的なものを意味のある連想と誤解する。
よくある質問
コロケーションとは具体的に何ですか?
コロケーションとは、偶然が予測するよりも頻繁に共起する単語のペアまたはシーケンス — 「強い紅茶」や「決断を下す」のような習慣的な単語連想である。コロケーション分析は、頻度リストから読み取るのではなく、共起を統計的にスコアリングすることによってこれらを見つける。
コロケーション分析は頻度分析とどう違うのですか?
頻度分析は、単語やn-gramがどれだけ頻繁に出現するかを数える。コロケーション分析はさらに進んで、連想尺度を用いて、2つの単語が偶然予想されるよりも一緒に現れるかどうかを問い、単に一般的なものだけでなく意味のあるペアを表面化させる。
PMIとは何ですか、そしてなぜ使われるのですか?
点対数相互情報量(PMI)は、2つの単語が共に現れる頻度と、それらが独立して共起すると予想される頻度を比較する。高いPMIは強い連想を示す。PMIはまれなペアを過大評価することがあるため、通常、ランク付けの前に最小共起カウントが適用される。
どのくらいのテキストが必要ですか?
この技術は、共起カウントが安定するように、適度なサイズのコーパス(約50以上の文書)を想定している。テキストが少なすぎると、連想スコアが変動し、抽出されたコロケーションは信頼性が低下する。
関連する手法
参考文献
Church, K.W. & Hanks, P. (1990). Word Association Norms, Mutual Information, and Lexicography. Computational Linguistics, 16(1), 22-29.
出版物の文献を開くコピーしました。Manning, C.D. & Schütze, H. (1999). Foundations of Statistical Natural Language Processing. MIT Press.
ISBN:9780262133609コピーしました。