TF-IDF — 語頻-逆文書頻度
- 提唱者
- Salton & Buckley
- 年
- 1988
- 種類
- Text vectorization / term-weighting scheme
この文章は機械翻訳で、まだ確認されていません。 英語の原文を読む
何をする手法か?
TF-IDFは、SaltonとBuckley (1988) によって導入された、各単語を文書内での出現頻度と文書集合全体での希少性によってスコアリングする単語重み付けスキームです。これは、生のテキストを重み付けされた文書ベクトルに変換し、1つの文書で頻繁に出現するが他では珍しい項に高い重みを与えます。
手法の背後にある直感
頻繁に出現する単語がすべて情報的であるとは限りません。「the」のような単語はどこにでも現れ、文書の内容についてほとんど教えてくれません。TF-IDFは、項が特定の文書内で頻繁に出現するが、他の文書集合では珍しい場合に最も重要であるという考え方を捉えています。項が局所的に出現する回数と、それが全体的にどれだけ特徴的であるかを掛けることによって、このスキームは実際に各文書を特徴付ける単語を強調し、一般的な単語の重みを下げます。
歴史学
TF-IDFは、SaltonとBuckley (1988) の情報検索研究から生まれました。彼らは自動テキスト検索のための単語重み付けアプローチを体系的に比較し、語頻と逆文書頻度の組み合わせを効果的な文書表現スキームとして確立しました。これはテキストベクトル化の基本的なベースラインとなり、透明な特徴表現として広く使用され続けています。
使うべき場面
文書コーパスがあり、検索、分類、または類似性比較のために文書を数値特徴に変換する必要がある場合にTF-IDFを使用します。これはバッグ・オブ・ワーズの仮定に依存し、事前のテキスト前処理が必要です。コレクションは比較的大きい必要があります — 約100文書未満ではIDFの重みが不安定になり、単純な単語頻度分析の方が信頼性が高くなります。テキストデータが全くない場合、TF-IDFは計算できません。
限界と注意点
- バッグ・オブ・ワーズの仮定に基づき、単語の順序と文脈を無視します。
- IDFの重みは、非常に小さいコーパスでは不安定で無意味になります。
- 注意深いテキスト前処理が必要です。ノイズの多いトークンは重みを低下させます。
出典に示された条件は、独立した科学的レビューや分析エンジンによる検証の代わりにはなりません。
強み
- シンプル、高速、解釈可能 — 各重みは、局所的な頻度と全体的な希少性に直接追跡可能です。
- 生のテキストを、検索、分類、クラスタリング手法で使用可能な数値文書ベクトルに変換します。
- どこにでも存在する情報のない単語の重みを下げ、文書を区別する項を強調します。
応用
- テキスト分類のための特徴ベクトルとしての文書表現。
- 検索アプリケーションにおける文書のランキングと検索。
- 文書を特徴付ける最も特徴的なキーワードの特定。
- 文書クラスタリングおよび類似性比較のための入力構築。
使い方
使い方
テキストコーパスはクリーニングされ、項にトークン化されます — テキストは正規化され、重み付けされる単語単位に分割されます。TF-IDFはバッグ・オブ・ワーズの仮定に基づいているため、すべての文書で一貫した前処理を行うことが、結果として得られるカウントを比較可能にします。
各文書について、語頻(TF)は、各項がその文書内に何回出現するかをカウントします。単一の文書内で多く出現する項は、その文書の内容に対する中心性を反映して、より高い局所的重みを得ます。
文書集合全体で、逆文書頻度(IDF)は、各項がどれだけ希少であるかを測定します — 多くの文書に出現する項は低いIDFを受け取り、少数の文書に限定される項は高いIDFを受け取ります。これは、どこにでも存在する情報のない単語を抑制し、特徴的な単語を報酬します。
TFとIDFの成分は、項ごとに単一の重みに組み合わされ、各文書はこれらの重み付けされたスコアのベクトルになります。結果として得られる文書-項ベクトルは、検索、分類、クラスタリングなどの下流タスクが消費する表現です。
よくある落とし穴
- 約100文書未満のコーパスでTF-IDFを実行 — IDFの重みは無意味になるため、単純な単語頻度分析にフォールバックします。
- 文書間での前処理のスキップまたは不整合。これにより、項のカウントが比較不可能になります。
- テキストデータがない場合にTF-IDFを適用しようとする — カテゴリコーディングとコンテンツ分析が適切な経路です。
- TF-IDFが意味や文脈を捉えることを期待する:孤立した項を重み付けし、単語の順序や意味論をモデル化できません。
よくある質問
TFとIDFはそれぞれ何を測定しますか?
語頻(TF)は、単一の文書内で項がどれだけ頻繁に出現するかを測定し、局所的な中心性を捉えます。逆文書頻度(IDF)は、文書集合全体で項がどれだけ希少であるかを測定し、多くの文書に出現する単語の重みを下げます。これらを掛けることで、1つの文書では頻繁に出現するが他では珍しい項に高い重みを与えます。
私のコーパスはどのくらいの大きさが必要ですか?
TF-IDFには、比較的大きなコレクションが必要です — 約100文書以上。それ以下では、IDFの重みが不安定になり意味を失うため、より単純な単語頻度分析がより信頼性の高い選択肢となります。
TF-IDFは意味や文脈を理解しますか?
いいえ。TF-IDFはバッグ・オブ・ワーズの仮定に基づいています。個々の項を頻度と希少性で重み付けし、単語の順序、構文、意味論を無視します。文脈や意味的類似性については、Word2Vecなどの埋め込み手法がより適切です。
どのような前処理が必要ですか?
コーパスは、重み付けの前に一貫してクリーニングおよびトークン化される必要があります — テキストを正規化し、比較可能な項単位に分割します。このステップをスキップすると、ノイズの多いトークンが残り、重みが低下します。
関連する手法
参考文献
Salton, G. & Buckley, C. (1988). Term-weighting approaches in automatic text retrieval. Information Processing & Management, 24(5), 513-523.
DOI 文献を開くコピーしました。