Skip to content
検索結果に戻る

BERTopic — ニューラル・トピック・モデリング

提唱者
Maarten Grootendorst
年
2022
種類
Neural topic-modeling pipeline

この文章は機械翻訳で、まだ確認されていません。 英語の原文を読む

文字サイズ

何をする手法か?

BERTopicは、Maarten Grootendorstによって2022年に発表されたニューラル・トピック・モデリング・パイプラインです。BERTベースの文脈埋め込みとUMAP次元削減、HDBSCANクラスタリングを組み合わせることで、首尾一貫した動的なトピックを生成し、従来のトピックモデルよりも高いトピックコヒーレンスを達成します。

手法の背後にある直感

従来のトピックモデルは、文書を単語の袋(bag of words)として扱い、文脈における単語の意味を捉えることはほとんどありません。BERTopicは、文脈埋め込みから開始するため、異なる単語で同じ内容を話す文書は互いに近くに配置されます。近くにある文書をグループ化してクラスターにし、次に各クラスターを特徴づける単語を読み取ります。これらの特徴的な単語がトピックとなります。その結果、生の単語数からではなく、テキストの意味から浮かび上がる、人間が解釈可能なテーマのセットが得られます。

歴史学

BERTopicは、Maarten Grootendorstによって2022年に、トランスフォーマー埋め込みとクラスベースのTF-IDF手順を組み合わせたニューラル・トピック・モデリング・アプローチとして発表されました。クラスタリング段階では、McInnes, Healy and Astels (2017) のHDBSCAN密度ベースクラスタリングアルゴリズムを利用し、トピックモデリングを純粋なカウントベースの手法から、埋め込み駆動型でコヒーレンス重視のトピックへと移行させました。

使うべき場面

BERTopicは、テキストコーパスがあり、事前にテーマを指定することなくその根底にあるテーマを発見したい場合に利用します。横断的または縦断的なテキストの探索的および記述的な作業に適しています。十分な数の文書(最低50、100以上が推奨)が必要であり、埋め込みステップが高価であるため、GPUまたは高い計算能力が推奨されます。文書が非常に少ない場合、密度ベースのクラスタリングでは安定したトピックを形成するための信号が少なすぎます。

限界と注意点

  • 安定したトピックを形成するには、十分な数の文書(最低50、100以上が推奨)が必要です。
  • トランスフォーマー埋め込みステップが高価であるため、GPUまたは高い計算能力が推奨されます。
  • 結果は、選択された埋め込みモデル、UMAPおよびHDBSCANの設定に依存します。
  • HDBSCANは一部の文書を外れ値として未割り当てのままにするため、すべての文書がトピックを受け取るわけではありません。

出典に示された条件は、独立した科学的レビューや分析エンジンによる検証の代わりにはなりません。

強み

  • 文脈埋め込みに基づいて構築されているため、単語の袋モデルが見落とす意味を捉えます。
  • 従来のトピックモデルよりも高いコヒーレンスを持つ、首尾一貫した解釈可能なトピックを生成します。
  • 動的トピックモデリングをサポートし、タイムスタンプ付きコーパスで時間の経過とともにトピックがどのように変化するかを追跡します。
  • 多言語埋め込みモデルにより、同じパイプラインが複数の言語で機能します。

応用

  • 探索的分析のために、文書やレポートの大規模なコレクションからテーマを発見する。
  • タイムスタンプ付きテキストで、コーパス内のトピックが時間の経過とともにどのように進化するかを追跡する。
  • 自由回答形式のアンケート回答やレビューを、解釈可能なテーマに要約する。
  • 科学またはソーシャルメディアのコーパスを、言語を超えて首尾一貫したトピッククラスターに整理する。

使い方

使い方

1

各文書は、BERTベースのトランスフォーマーモデルを使用して文脈埋め込みに変換されます。埋め込みが文脈における意味を捉えるため、異なる表現で同じアイデアを表明する文書は、ベクトル空間内で互いに近くに配置されます。多言語モデルを使用すると、同じパイプラインで多くの言語のコーパスを処理できます。

2

高次元の埋め込みは、UMAPを用いて低次元空間に投影されます。この削減により、局所的な近傍構造が維持され、続くクラスタリングステップでデータが扱いやすくなります。高次元のままでは、密度が希薄になってしまいます。

3

HDBSCANは、削減された埋め込みを密度ベースのクラスターにグループ化します。密度ベースであるため、様々な形状のクラスターを見つけ、真に疎な文書は外れ値として未割り当てのままにし、すべての文書を強制的にトピックに割り当てることはありません。

4

各クラスターについて、クラスベースのTF-IDFスコアが、そのクラスターを最も特徴づける用語をランク付けします。上位にランク付けされた用語がトピックの表現となり、首尾一貫した解釈可能なトピックが生成されます。タイムスタンプ付きコーパスでは、時間の経過とともに追跡可能な動的なトピックも得られます。

よくある落とし穴

  • 文書数が少なすぎると、クラスタリングステップで意味のあるトピックを形成するのに十分な密度が得られません。
  • コーパスの言語と一致しない埋め込みモデルを選択すると、トピックの品質が低下します。多言語モデルまたはドメインに適したモデルを使用してください。
  • 外れ値(未割り当て)の文書を、密度ベースのクラスタリングの予期される動作ではなく、失敗として扱うこと。
  • 代表的な文書を検査せずに、クラスベースのTF-IDF用語からトピックを読み取ること。これはラベルの過剰解釈につながる可能性があります。

よくある質問

BERTopicはLDAのような従来のトピックモデルとどう違うのですか?

LDAのような従来のモデルは、単語数と各文書の単語の袋(bag-of-words)の視点から機能します。BERTopicは、文脈トランスフォーマー埋め込みから開始し、UMAPで次元を削減し、HDBSCANでクラスター化し、各クラスターにクラスベースのTF-IDF用語でラベルを付けます。文脈における意味を捉えるため、一般により首尾一貫した解釈可能なトピックを生成します。

何文書必要ですか?

最低50文書、100文書以上が推奨されます。クラスタリングステップは密度ベースであるため、文書が少なすぎると安定したトピックを形成するのに十分な信号がありません。

なぜ私の文書の一部はどのトピックにも割り当てられないのですか?

HDBSCANは密度ベースのクラスタリングアルゴリズムであり、真に疎な文書や非典型的な文書を、強制的にトピックに割り当てるのではなく、外れ値として意図的に未割り当てのままにします。これはエラーではなく、予期される動作です。

BERTopicは非英語のテキストを扱えますか?

はい。多言語埋め込みモデルを選択することで、同じパイプラインで多くの言語のコーパスを処理できます。埋め込みモデルをコーパスの言語に合わせることが、良好なトピック品質の鍵となります。

関連する手法

参考文献

  1. Grootendorst, M. (2022). BERTopic: Neural topic modeling with a class-based TF-IDF procedure. arXiv:2203.05794.

    DOI 文献を開く
    コピーしました。
  2. McInnes, L., Healy, J. & Astels, S. (2017). hdbscan: Hierarchical density based clustering. Journal of Open Source Software, 2(11), 205.

    DOI 文献を開く
    コピーしました。