BERTopic — 神经主题建模
- 提出者
- Maarten Grootendorst
- 年份
- 2022
- 类型
- Neural topic-modeling pipeline
本文为机器翻译,尚未经过审校。 阅读英文原文
它有什么作用?
BERTopic 是 Maarten Grootendorst 于 2022 年推出的一种神经主题建模流程。它结合了基于 BERT 的上下文嵌入、UMAP 降维和 HDBSCAN 聚类,以生成连贯、动态的主题,其主题连贯性优于经典主题模型。
方法背后的直觉
经典主题模型将文档视为词袋,很少能捕捉到词语在上下文中的含义。BERTopic 则从上下文嵌入开始,因此谈论同一事物但用词不同的文档会彼此靠近。它将这些邻近的文档分组到簇中,然后读出使每个簇具有区分性的词语——这些区分性的词语就成了主题。其结果是一组从文本含义而非原始词频中涌现出来的人类可读的主题。
历史学
BERTopic 由 Maarten Grootendorst 于 2022 年推出,是一种神经主题建模方法,它将 Transformer 嵌入与基于类的 TF-IDF 程序配对。它借鉴了 McInnes、Healy 和 Astels (2017) 的 HDBSCAN 基于密度的聚类算法进行聚类阶段,将主题建模从纯粹的基于计数的方法转向了嵌入驱动、关注连贯性的主题。
何时使用
当您拥有文本语料库并希望在不预先指定的情况下发现其潜在主题时,请使用 BERTopic。它适用于横断面或纵向文本的探索性和描述性工作。需要足够数量的文档——至少 50 篇,推荐 100 篇以上——并且倾向于使用 GPU 或高计算能力,因为嵌入步骤计算成本高昂。文档数量过少时,基于密度的聚类信号不足以形成稳定的主题。
局限与注意事项
- 需要足够数量的文档——至少 50 篇,推荐 100 篇以上——才能形成稳定的主题。
- 倾向于使用 GPU 或高计算能力,因为 Transformer 嵌入步骤计算成本高昂。
- 结果取决于所选的嵌入模型以及 UMAP 和 HDBSCAN 的设置。
- HDBSCAN 将一些文档分配为异常值,因此并非所有文档都能获得主题。
来源中的条件不能替代独立的科学审查或分析引擎的验证。
优势
- 基于上下文嵌入,因此能捕捉到词袋模型所遗漏的含义。
- 生成比经典主题模型更具连贯性和可解释性的主题。
- 支持动态主题建模,跟踪时间戳语料库中主题随时间的变化。
- 多语言嵌入模型允许同一流程跨语言工作。
应用
- 为探索性分析在大量文档或报告集合中发现主题。
- 跟踪时间戳文本中语料库主题随时间演变的方式。
- 将开放式调查回复或评论总结为可解释的主题。
- 跨语言组织科学或社交媒体语料库以形成连贯的主题簇。
使用方式
使用方式
使用基于 BERT 的 Transformer 模型将每个文档转换为上下文嵌入。由于嵌入捕捉了上下文中的含义,表达相同思想但措辞不同的文档会在向量空间中彼此靠近。多语言模型允许同一流程处理多种语言的语料库。
使用 UMAP 将高维嵌入投影到低维空间。这种降维在保持局部邻域结构的同时,使数据对于后续的聚类步骤变得易于处理,而高维度则会稀释密度。
HDBSCAN 将降维后的嵌入分组到基于密度的簇中。由于它是基于密度的,因此它可以找到各种形状的簇,并将真正稀疏的文档作为异常值分配出去,而不是强迫每个文档都归入某个主题。
对于每个簇,使用基于类的 TF-IDF 分数对该簇最具区分性的词语进行排名。排名靠前的词语成为该主题的表示,从而产生连贯、可解释的主题,并且在带有时间戳的语料库上,可以跟踪动态主题。
常见陷阱
- 在文档数量过少的情况下运行,聚类步骤没有足够的密度来形成有意义的主题。
- 选择与语料库语言不匹配的嵌入模型会降低主题质量;应使用多语言或领域适用的模型。
- 将异常值(未分配文档)视为基于密度聚类的预期行为,而不是失败。
- 仅根据基于类的 TF-IDF 词语读取主题而不检查代表性文档,这可能导致过度解读标签。
常见问题
BERTopic 与 LDA 等经典主题模型有何不同?
LDA 等经典模型基于词频和每篇文档的词袋视图进行工作。BERTopic 从上下文 Transformer 嵌入开始,使用 UMAP 进行降维,使用 HDBSCAN 进行聚类,并使用基于类的 TF-IDF 词语为每个簇进行标记。由于它捕捉了上下文中的含义,因此通常能产生更连贯、更易于解释的主题。
我需要多少文档?
至少 50 篇文档,推荐 100 篇以上。聚类步骤是基于密度的,因此文档数量过少时,信号不足以形成稳定的主题。
为什么我的某些文档未分配给任何主题?
HDBSCAN 是一种基于密度的聚类算法,它会故意将真正稀疏或非典型的文档作为异常值分配出去,而不是强迫它们归入某个主题。这是预期行为,并非错误。
BERTopic 能处理非英语文本吗?
可以。通过选择多语言嵌入模型,同一流程可以处理多种语言的语料库;将嵌入模型与语料库语言匹配是获得良好主题质量的关键。