NMF 主题模型
- 提出者
- Lee, D. D. & Seung, H. S.
- 年份
- 1999
- 类型
- Matrix factorization / unsupervised topic model
- 类别
- Deep learning / NLP / CV
本文为机器翻译,尚未经过审校。 阅读英文原文
它有什么作用?
非负矩阵分解 (NMF) 是一种无监督的矩阵分解方法,通过将文档-词项矩阵分解为两个非负矩阵(一个编码主题-词权重,另一个编码文档-主题权重)来发现文本语料库中的潜在主题。非负性约束产生了基于部分的、加性表示,这倾向于产生清晰、可解释的主题。
方法背后的直觉
将您的语料库想象成一个大型电子表格,其中行是文档,列是词项。NMF 提出:我能否通过少量原型词项模式(主题)的组合来重新表达这个电子表格?由于所有值都必须是非负的,因此模型无法抵消一种模式与另一种模式——它被迫寻找加性构件块。然后,每个文档都表示为这些模式的混合。其结果通常比概率主题模型更直接易读,因为每个主题的最高权重词项很少重叠。
历史学
非负矩阵分解由 Daniel D. Lee 和 H. Sebastian Seung 在 1999 年发表于《Nature》杂志的一篇里程碑式论文中首次提出,该论文证明了 NMF 对图像数据的分解产生了局部化、基于部分的表示——这与 PCA 或 VQ 不同。他们 2001 年的 NIPS 论文提供了现已标准的乘法更新规则。NMF 作为 LDA 的主题建模替代方案迅速被应用于文本分析,提供了更简单的训练和通常更清晰的词项聚类。它仍然是自然语言处理和信息检索研究中的标准基线。
何时使用
当您需要从文本语料库中提取清晰的、基于部分的(parts-based)主题时,尤其是在您希望主题之间的词项重叠度低且标签清晰时,请使用 NMF。它在从短到中等长度文档(如摘要、新闻文章或调查回复)派生的 TF-IDF 矩阵上效果很好。当可解释性是主要关注点且语料库规模适中(数千到数十万篇文档)时,它尤其适用。当文档非常短(每个文档少于约 20 个词项)时,当需要概率生成模型进行下游推理时,或者当语料库非常大且稀疏时,应避免使用 NMF——在这些情况下,LDA 或神经网络主题模型可能更合适。
局限与注意事项
- 主题数 k 必须由用户设置;没有内置机制从数据中推断它。
- NMF 不是生成概率模型,因此文档-主题隶属度不是严格的概率,不能直接用于概率管道。
- 结果取决于初始化,并且在不同运行之间可能有所不同,除非使用了固定种子和 NNDSVD 初始化。
- 非常短的文档(少于约 20 个词项)会在 V 中产生稀疏行,难以有意义地分解。
- NMF 不像结构化主题模型那样对主题相关性或文档级协变量进行建模。
来源中的条件不能替代独立的科学审查或分析引擎的验证。
优势
- 非负性约束产生加性、基于部分的表示,这些表示通常比 LDA 更具可解释性。
- 主题倾向于较低的主题间词项重叠,使得手动标记更容易。
- 确定性更新(使用固定种子)使结果比基于采样的 LDA 更具可复现性。
- TF-IDF 输入自然地降低了常见词项的权重,减少了对详尽停用词列表的需求。
- 标准库(scikit-learn)中实现简单,所需超参数很少。
- 在没有专用硬件的情况下,可以合理地扩展到数万篇文档的语料库。
应用
- 科学文献、新闻语料库和调查开放式回答中的主题发现和主题分析。
- 大型文档存储库的文档聚类和自动内容标记。
- 使用文档-主题向量作为项目特征的推荐系统。
- 生物信息学(基因表达)和音频源分离中的信号分解,NMF 最初起源于此。
- 与神经网络或概率模型进行比较的主题模型基线。
- 下游分类之前的稀疏文档-词项矩阵的降维。
使用方式
使用方式
语料库被转换为一个形状为 n-文档 x m-词汇的文档-词项矩阵 V。每个单元格通常包含 TF 或 TF-IDF 分数——原始非负计数或其加权等效值。首先应用预处理(小写、停用词移除、可选词干提取)和词汇修剪(最小文档频率、最大文档频率)来减少噪声。
V 近似为两个非负矩阵 W(n x k,文档-主题权重)和 H(k x m,主题-词权重)的乘积,其中 k 是所选的主题数。两个矩阵都经过初始化——通常使用非负 SVD 种子 (NNDSVD) 或随机非负值——然后通过迭代优化来最小化重构损失,例如 V 与 WH 之间的 Frobenius 范数或 KL 散度。
公式
V \approx W H,\; W \in \mathbb{R}_{\geq 0}^{n \times k},\; H \in \mathbb{R}_{\geq 0}^{k \times m}Lee-Seung 乘法更新规则同时迭代 W 和 H。每次更新都会将当前值乘以一个保证为正的比率,从而在整个过程中保持非负性。迭代继续,直到重构损失低于某个容差值或达到最大迭代次数。
公式
H \leftarrow H \odot \frac{W^{T}V}{W^{T}WH}, \quad W \leftarrow W \odot \frac{VH^{T}}{WHH^{T}}每次迭代后,算法会检查重构损失的变化是否小于设定的容差(通常为 1e-4)。如果是,则宣布收敛。实际实现还会设置迭代上限(例如 200 次),以避免在大型词汇量上出现计算失控。
收敛后,H 的每一行是一个主题:权重最高的列是该主题的定义词项。W 的每一行是文档在各主题上的软隶属度。主题通常由其排名前 5 到前 10 的词项标记。可以使用一致性度量(例如 NPMI)来选择最佳主题数 k。
常见陷阱
- 在未评估一系列值的一致性度量的情况下任意选择 k。
- 使用原始计数矩阵而不是 TF-IDF,这会导致高频词项主导每个主题。
- 跳过词汇修剪(最小/最大文档频率),留下嘈杂或超稀有词项,这些词项会膨胀矩阵并模糊主题。
- 将文档-主题权重视为概率,而未对其进行逐行归一化。
- 忽略预处理选择(词干提取与词形还原、停用词列表)对主题质量的影响。
常见问题
如何选择主题数 k?
对一系列 k 值(例如 5 到 30)运行 NMF,并在保留的词汇样本上评估主题一致性(NPMI 或 C_V 分数)。绘制一致性与 k 的关系图,寻找峰值或拐点。关于语料库预期主题结构的领域知识也是一个有用的指导。
NMF 比 LDA 更好吗?
两者没有绝对的优劣。NMF 通常产生主题间词项重叠度较低的主题,并且训练速度更快,但它不是生成概率模型。LDA 提供文档-主题分布,这些分布是严格的概率,并支持留出样本的困惑度评估。选择取决于可解释性还是概率推理是优先事项。
NMF 是否需要移除停用词?
使用 TF-IDF 输入可以自动减少常见词项的影响,但显式的停用词移除和最小文档频率修剪仍然可以改善结果,通过消除不贡献于连贯主题的非常稀有或全语料库范围内的词项来减少噪声。
NMF 结果的可复现性如何?
使用固定的随机种子和 NNDSVD 初始化,NMF 结果高度可复现。如果没有固定种子,不同运行可能会产生不同的主题排序或略有不同的词项分布。发表时应始终设置并报告种子。
NMF 能处理多语言语料库吗?
可以,但文档-词项矩阵必须分别处理每种语言的词汇,或者必须先将语料库翻译成通用语言。多语言主题模型(例如多语种 LDA 或基于多语种 BERT 的方法)是专门为跨语言场景设计的,在这些场景中可能优于普通 NMF。
相关方法
参考文献
Lee, D. D., & Seung, H. S. (1999). Learning the parts of objects by non-negative matrix factorization. Nature, 401(6755), 788–791.
打开 DOI 文献已复制。Lee, D. D., & Seung, H. S. (2001). Algorithms for non-negative matrix factorization. In Advances in Neural Information Processing Systems (NIPS), 13, 556–562.
打开出版物文献已复制。