語彙の多様性 — ボキャブラリーの豊かさの測定
- 種類
- Text quantification / lexical richness measurement
この文章は機械翻訳で、まだ確認されていません。 英語の原文を読む
何をする手法か?
語彙の多様性分析は、タイプ・トークン比(TTR)、MTLD、vocd-D、YuleのKなどの尺度を用いて、テキストの語彙の多様性、すなわち著者の単語選択の豊かさを定量化する。MTLDおよびvocd-D尺度は、McCarthyとJarvis(2010)によって検証され、TweedieとBaayen(1998)による語彙の豊かさ尺度の安定性に関する初期の研究に基づいている。
手法の背後にある直感
テキストが使用する語彙の総数に対して、そのテキストに含まれる単語の総数を数えると、語彙の豊かさの感覚が得られる。同じ単語を繰り返し使用するテキストは、多くの異なる単語を使用するテキストよりも多様性が低い。ただし、この単純な比率はテキストが長くなるにつれて小さくなるため、この手法では長さに対して頑健な尺度を使用し、テキストの長さを均等化してからテキストを比較する。
歴史学
語彙の豊かさの定量化は、スタイロメトリーとコーパス言語学において長い歴史を持つ。TweedieとBaayen(1998)は、様々な語彙の豊かさ尺度がテキスト長の関数としてどれだけ安定しているかを調査し、長さ感受性比率の限界を明らかにした。その後、McCarthyとJarvis(2010)は、より洗練されたアプローチ(MTLD、vocd-D、HD-D)を検証し、長さに対して頑健な尺度を多様性評価の標準として確立した。
使うべき場面
トークン化されたテキストがあり、その語彙の豊かさを記述または比較したい場合に、語彙の多様性を使用する。著者、文書、またはグループ間で比較する場合に適している。記述的および比較的な目標に適しており、わずかな量のテキスト(最低約10トークン)しか必要としないが、公平な比較のためには、比較されるテキストは同じ長さの土俵に乗せられ、言語とジャンルが一致している必要がある。
限界と注意点
- テキストの長さはTTRの計算に影響する。生のTTRは、異なるサイズのテキストを比較する際には信頼性が低い。
- 比較分析には、有効であるために、均等化されたテキストの長さ(標準断片または希少化)が必要である。
- 言語とジャンルは多様性スコアを変化させるため、制御されていない比較は誤解を招く可能性がある。
出典に示された条件は、独立した科学的レビューや分析エンジンによる検証の代わりにはなりません。
強み
- テキストの語彙の豊かさを、よく検証された尺度(TTR、MTLD、vocd-D、YuleのK)を使用して、単一の比較可能な数値に変換する。
- MTLDおよびvocd-Dは、生のタイプ・トークン比よりもテキストの長さに頑健であるように設計されている。
- 適用が容易で、記述的なプロファイリングと著者またはグループ間の比較の両方に役立つ。
応用
- スタイロメトリーおよび著者特定研究における著者の語彙の豊かさのプロファイリング。
- 人文科学における作家、文書、またはジャンル間の語彙の多様性の比較。
- 言語学習および教育研究における語彙発達の評価。
- 社会科学およびビジネステキストコーパスにおける単語使用の集中度の特徴づけ。
使い方
使い方
テキストはトークン(単語)に分割される。総トークン数に対する異なる単語タイプの数を数えることは、あらゆる多様性尺度の基礎となるため、比較したいテキスト間で一貫したトークン化を行うことが最初の要件である。
1つ以上の語彙多様性尺度が計算される。タイプ・トークン比(TTR)は、異なる単語タイプの数を総トークン数で割ったものである。MTLDおよびvocd-Dは、テキストの長さに影響されにくい方法で多様性を推定する。YuleのKは、繰り返し単語の集中度を特徴づける。これらを組み合わせることで、異なる角度から語彙の豊かさを記述する。
TTRはテキストの長さが増加するにつれて小さくなるため、生のスコアは異なるサイズのテキスト間で直接比較できない。MTLDおよびvocd-Dは設計上、テキストの長さに依存しないが、比較のためには、違いが文書の長さではなく語彙を反映するように、テキストを同じ土俵に乗せる必要がある。例えば、標準サイズの断片や希少化によって長さを均等化する。
正規化されたスコアが、テキスト、著者、またはグループ間で比較される。言語やジャンルも多様性を変化させるため、これらの要因は一定に保たれるか、制御される。これにより、比較は語彙の豊かさの信号を分離し、混同を避ける。
よくある落とし穴
- 異なる長さのテキスト間で生のTTRを比較すること。長いテキストは必然的にTTRが低くなるため、比較は語彙ではなく長さを反映する。MTLDまたはvocd-Dを使用するか、まず長さを均等化する。
- 比較においてテキストの長さを均等化しないこと(標準断片または希少化なし)は、多様性の違いを解釈不能にする。
- 言語とジャンルの違いを無視してテキストを比較することは、語彙の豊かさの信号を文体的な要因と混同する。
よくある質問
なぜタイプ・トークン比(TTR)だけではだめなのか?
TTRは直感的だが、テキストが長くなるにつれて小さくなる。なぜなら、どのテキストも最終的には一般的な単語を再利用するからだ。そのため、生のTTRは異なる長さのテキストを比較する際には信頼性が低い。MTLDおよびvocd-Dは、テキストの長さにほとんど影響されないように設計されており、比較においてはそれらが好まれる理由である。
どのくらいのテキストが必要か?
この手法は、わずかな量のテキスト(最低約10トークン)で実行できるが、テキストが多いほど推定値は安定する。比較においては、個々のテキストが非常に長いことよりも、テキストが同じ長さの土俵に乗せられていることが最も重要である。
2つの異なるテキストの多様性を直接比較できますか?
同じ土俵に乗せた後のみ。標準サイズの断片または希少化によって長さを均等化し、言語とジャンルを制御する。なぜなら、これら3つの要因すべてが、語彙の豊かさとは独立に多様性スコアを変化させるからだ。
どの尺度を報告すべきか?
MTLDおよびvocd-Dは、検証済みの長さに対して頑健な選択肢であり、通常は好まれる。YuleのKは、繰り返し単語がどれだけ集中しているかを記述し、TTRは、テキストの長さが一致している場合には、単純な記述的指標として有用なままである。複数の尺度を報告することで、より完全な全体像が得られる。
関連する手法
参考文献
McCarthy, P. M. & Jarvis, S. (2010). MTLD, vocd-D, and HD-D: A validation study of sophisticated approaches to lexical diversity assessment. Behavior Research Methods, 42(2), 381-392.
DOI 文献を開くコピーしました。Tweedie, F. J. & Baayen, R. H. (1998). How Variable May a Constant Be? Measures of Lexical Richness in Perspective. Computers and the Humanities, 32(5), 323-352.
DOI 文献を開くコピーしました。