何をする手法か?
文書クラスタリングは、ラベルを使用せずに類似した内容を持つ文書をグループ化する教師なしテキストマイニングタスクです。これは、Aggarwal and Zhai (2012) によって統合され、Steinbach, Karypis and Kumar (2000) によって経験的に比較されたテキストマイニング技術の体系を活用して、大規模なコレクションを整理し、探索的分析に使用されます。
手法の背後にある直感
大量の文書があり、誰もタグ付けしていない場合でも、どの文書が一緒に属するかを知りたいと思うでしょう。文書クラスタリングはまさにそれを実行します。文書の単語に基づいてそれらがどれだけ類似しているかを測定し、類似した文書を同じグループに配置するため、構造は定義済みのカテゴリによって強制されるのではなく、コレクション自体から自然に現れます。
歴史学
文書クラスタリングは、Aggarwal and Zhai の Mining Text Data (2012) で概説されている、より広範なテキストマイニングの分野に位置します。Steinbach, Karypis and Kumar (2000) による比較研究は、さまざまな文書クラスタリング手法がどのように機能するかを調査し、どの手法ファミリーがテキストコレクションに適しているかの確立に役立ちました。
使うべき場面
文書にラベルがなく、それを整理したり構造を探索したりしたい場合に、文書クラスタリングを使用してください。テキストは最初にベクトル化され、クラスタ数または距離閾値のいずれかを決定する必要があります。これは、少なくとも約30文書の適切なコーパスを必要とし、約100文書を超えると信頼性が高まります。文書が少ない場合は、手動のテーマ分析の方が安全な選択肢です。テキストデータが全くない場合は、文書クラスタリングを適用できません。
限界と注意点
- 小規模コーパスでは結果が信頼できません。約100文書未満ではクラスタは信頼できません。
- テキストを最初にベクトル化し、クラスタ数または距離閾値を事前に設定する必要があります。
- テキストデータが全くない場合は適用できません。
出典に示された条件は、独立した科学的レビューや分析エンジンによる検証の代わりにはなりません。
強み
- 教師なし — ラベル付きデータを必要としないため、誰も注釈を付けていない生のコレクションで機能します。
- コーパス内の潜在的な構造を明らかにします。コレクションの整理や探索的分析に適しています。
- 手作業でソートするには非現実的な大規模文書コレクションにスケールします。
応用
- ナビゲーションを容易にするために、大規模な文書コレクションを coherent なグループに整理すること。
- ラベルなしコーパスの探索的分析で、存在するテーマを発見すること。
- 運用および研究において、より深い分析の前に、類似したレポート、記事、または記録をグループ化すること。
- ラベリングまたは下流の分類の前に、コレクションを事前構造化すること。
使い方
使い方
各文書は、まずテキストベクトル化(例えばTF-IDFベクトル)によって数値表現に変換されます。これにより、単語が距離尺度で比較できるものになります。このステップなしでは、クラスタリングアルゴリズムが操作する対象がなくなります。
グループ化の前に、アナリストはクラスタがどのように形成されるかを決定します。ターゲットとするクラスタ数か、文書がグループを共有するのに十分近いかどうかを決定する距離閾値のいずれかです。この選択は、いくつのグループが現れ、それらがどれだけタイトになるかに影響を与えます。
クラスタリングアルゴリズムは、グループ内の文書がお互いに、他のグループの文書よりも類似するように、各文書をグループに割り当てます。ラベルはこれをガイドしません。グループ化は完全にベクトル空間での類似性によって駆動されます。
結果のグループは検査され、特徴付けられます。アナリストは、各クラスタの代表的な文書や頻繁な用語を読み、それが捉えているテーマを理解し、コレクションを整理したり、発見された内容を探索的分析にフィードしたりします。
よくある落とし穴
- 少なすぎる文書(約100未満)で実行すると、不安定で信頼性の低いクラスタが得られます。代わりに手動のテーマ分析に戻ってください。
- クラスタ数または距離閾値を不注意に選択すると、データに恣意的な構造が強制されます。設定は推測ではなく、理由に基づいて検討されるべきです。
- ベクトル化のスキップまたは不十分なベクトル化は、アルゴリズムに弱い信号しか残さず、グループは内容ではなくノイズを反映します。
- 実際のテキストデータがない場合に適用すること。一般的な内容分析が適切な代替手段です。
よくある質問
文書クラスタリングとテキスト分類の違いは何ですか?
分類は教師あり学習です。ラベル付き例から学習した定義済みのカテゴリに文書を割り当てます。クラスタリングは教師なし学習です。ラベルも定義済みのカテゴリもありません。グループは、文書がお互いにどれだけ類似しているかから純粋に現れます。
いくつの文書が必要ですか?
動作する最小値は約30文書ですが、クラスタリングが信頼できるのは約100文書を超えてからです。約100文書未満ではクラスタは不安定であり、手動のテーマ分析の方が安全な選択肢です。
事前にクラスタ数を決定する必要がありますか?
グループ化ステップが実行される前に、ターゲットとするクラスタ数か、文書がグループを共有するのに十分近いかどうかを決定する距離閾値のいずれかを設定する必要があります。これらの設定のいずれかが必要です。
文書がまだ数値形式でない場合はどうなりますか?
まずベクトル化する必要があります。例えばTF-IDFベクトルに変換します。これにより、距離尺度で比較できるようになります。ベクトル化はパイプラインの最初の段階であり、クラスタリングアルゴリズムは生のテキストではなく、それらのベクトル上で動作します。
関連する手法
参考文献
Aggarwal, C. C. & Zhai, C. (2012). Mining Text Data. Springer.
ISBN:9781461432227コピーしました。Steinbach, M., Karypis, G. & Kumar, V. (2000). A Comparison of Document Clustering Techniques. KDD Workshop on Text Mining.
出版物の文献を開くコピーしました。