主题建模
- 提出者
- Hofmann, T. (pLSA, 1999); Blei, D. M., Ng, A. Y., & Jordan, M. I. (LDA, 2003)
- 年份
- 1999–2003
- 类型
- Unsupervised generative probabilistic model
- 类别
- Deep learning / NLP / CV
本文为机器翻译,尚未经过审校。 阅读英文原文
它有什么作用?
主题建模是一系列无监督概率技术,用于发现大型文本集合中潜在的主题结构。通过学习哪些词倾向于共现,诸如潜在狄利克雷分配(LDA)之类的模型可以自动涌现出连贯的主题——每个主题都表示为词汇上的一个分布——而无需标注数据。
方法背后的直觉
想象一下阅读数千篇文章,并试图在事先不知道主题的情况下按主题对它们进行分组。主题建模通过数学方式实现这一点:它假设每篇文档都是少数几个潜在主题的混合体,而每个主题都由词语的分布来表征。诸如“选举”、“投票”和“参议院”之类的词语会聚集成一个政治主题;“基因”、“蛋白质”和“细胞”则聚集成一个生物学主题。该算法同时寻找词语-主题权重和每篇文档的主题比例,仅受语料库中词语共现模式的指导。
历史学
潜在语义分析(LSA)在20世纪80年代末通过SVD引入了在词项-文档矩阵中发现隐藏结构的思想。Hofmann的概率LSA(1999)给出了生成概率的解释。Blei、Ng和Jordan在2003年正式化了潜在狄利克雷分配(LDA),在文档-主题分布上增加了狄利克雷先验,实现了全贝叶斯推断和对未见文档的泛化。LDA成为主导框架并催生了数百种扩展。最近,诸如BERTopic之类的神经网络和Transformer模型通过在聚类前将文档嵌入到上下文空间中,显著提高了在短文本或专业文本上的连贯性。
何时使用
当您拥有大量未标注的文本语料库并希望发现其主题结构而无需预定义类别时,主题建模是适用的——例如,分析开放式调查回复、学术摘要、新闻档案或社交媒体数据。当K(主题数)未知且必须从数据中推断时,它非常适合。当语料库非常小(少于几百篇文档)、文档非常短(单个句子)、主题高度重叠或未经预处理的行话过多,或者您需要精确的每篇文档预测而非软主题比例时,应避免使用主题建模。对于有标注的分类任务,有监督方法(如基于BERT的分类器)更可取。
局限与注意事项
- 主题数K必须被指定或搜索,这需要多次模型运行和连贯性评估。
- 主题可能不连贯或冗余,尤其是在短文本或预处理不当的语料库上。
- 经典的LDA假设词语可交换性(词袋模型),并忽略词序和语法。
- 结果是随机的,并且可能因运行而异;可复现性需要固定的随机种子。
- 解释需要领域专家手动标注每个发现的主题。
来源中的条件不能替代独立的科学审查或分析引擎的验证。
优势
- 完全无监督:从原始文本中发现主题,无需任何标注的训练数据。
- 通过在线或分布式推断,可扩展至非常大的语料库。
- 产生可解释的主题,以排名词语列表的形式呈现,领域专家可以进行验证。
- 文档-主题比例是连续的,可以作为下游模型的紧凑特征。
- 模型系列灵活:LDA、NMF、CTM、BERTopic以及神经网络变体都共享相同的概念目标。
应用
- 对开放式调查或访谈回复进行探索性分析,以涌现反复出现的主题。
- 绘制跨大量学术摘要或资助提案的学术趋势图。
- 监控新闻或社交媒体语料库中的公众话语和意见动态。
- 为下游分类或推荐系统生成文档-主题特征。
- 语料库导航和搜索:用主题比例标记文档,以实现分面检索。
- 对某个领域的主题随时间演变进行纵向分析。
使用方式
使用方式
原始文本经过清理和分词:去除停用词、标点符号以及非常罕见或非常频繁的词语;可选步骤包括词干提取、词形还原以及过滤到有意义的词汇量大小。高质量的预处理至关重要,因为主题模型本身无法将信号与停用词噪声区分开来。
文档被转换为词袋矩阵——每篇文档都是一个词计数或词频向量。这种表示方法丢弃了词序,但保留了模型利用来寻找主题的共现统计信息。
模型联合估计两组分布:词语-主题分布(哪些词定义了每个主题)和文档-主题分布(每个主题对每篇文档的贡献程度)。在LDA中,这通过变分推断或吉布斯采样来近似后验分布。核心思想是,在文档中观察到一个词的概率等于该词在每个主题下的概率之和,并由该主题在文档中的比例加权。
公式
p(w|d) = \sum_{k=1}^{K} p(w|z=k)\,p(z=k|d)拟合后,每个主题由其权重最高的词语进行总结。每篇文档都会收到一个主题比例向量,显示其内容中有多少可归因于每个发现的主题。这些每篇文档的比例可用作下游分类或回归的特征。
需要人工判断来标注主题。连贯性度量(如NPMI或C_v)为选择主题数K提供量化指导,但始终需要对每个主题的最高权重词语进行定性审查,以确认主题是有意义且不冗余的。
常见陷阱
- 跳过停用词去除和预处理,这会导致主题充斥着功能词,并将实质性主题掩埋。
- 任意选择K而不是使用连贯性度量(NPMI、C_v)和定性审查结合。
- 将主题标签视为真实标签,而无需领域专家对最高权重词语列表进行验证。
- 将主题模型应用于非常短的文本(推文、单句)而不使用短文本适应方法。
- 忽略主题在不同随机种子下的稳定性,这可能揭示已识别的主题是初始化产生的副产品。
常见问题
如何选择主题数K?
计算一系列K值(例如,5-50)的连贯性得分(如C_v或NPMI),并绘制曲线;选择连贯性达到峰值然后收益递减的K值。务必通过定性审查来补充:阅读每个主题的排名前10的词语,并检查它们是否形成有意义的、不冗余的主题。
主题建模需要多少数据才能良好运行?
经典的LDA通常需要至少几百篇文档和几百个有意义的词语的词汇量来估计稳定的分布。低于此阈值,主题通常不连贯。在非常小的语料库上,可以考虑定性主题分析或像BERTopic这样的预训练模型,它利用外部嵌入。
我可以使用主题建模的输出作为分类器的特征吗?
是的。文档-主题比例向量是一个紧凑、密集的表示,可以直接传递给逻辑回归、随机森林或神经网络分类器。这是一种常见的半监督工作流管道,适用于标注数据稀缺的情况。
LDA和NMF在主题建模方面有什么区别?
LDA是一种通过贝叶斯推断估计的概率生成模型;NMF(非负矩阵分解)是一种矩阵分解方法。两者都生成词语-主题和文档-主题矩阵,但NMF是确定性的且通常更快,而LDA提供原则性的不确定性估计。在干净的语料库上,它们经常产生相似的主题;选择通常取决于计算约束以及是否需要概率解释。
主题建模是否适用于非英语文本?
是的,主题建模在算法层面是语言无关的——它只需要分词后的文本。您需要特定语言的预处理(停用词列表、词干提取器或词形还原器)。对于多语言语料库,可以考虑使用多语言嵌入(如mBERT)结合BERTopic进行跨语言主题发现。
相关方法
参考文献
Blei, D. M., Ng, A. Y., & Jordan, M. I. (2003). Latent Dirichlet Allocation. Journal of Machine Learning Research, 3, 993–1022.
打开出版物文献已复制。Hofmann, T. (1999). Probabilistic Latent Semantic Analysis. Proceedings of the Fifteenth Conference on Uncertainty in Artificial Intelligence (UAI), 289–296.
打开出版物文献已复制。