Skip to content
返回搜索结果

非负矩阵分解主题模型

提出者
Lee & Seung
年份
1999
类型
Matrix-factorization topic model

本文为机器翻译,尚未经过审校。 阅读英文原文

字号

它有什么作用?

非负矩阵分解(NMF)主题模型利用由 Lee and Seung (1999) 提出的非负矩阵分解——一种基于部分的分解——从语料库中提取文档-主题分布。通过将文档-词项矩阵分解为两个非负矩阵,它可以恢复出一小组主题,并且倾向于比 LDA 产生更易于解释的主题。

方法背后的直觉

语料库可以写成一个大表格,其中每一行代表一个文档,每一列代表一个词项。NMF 假设该表格是两个较小的非负表格的乘积:一个表格表示每个文档属于每个主题的程度,另一个表格表示哪些词项构成了每个主题。由于不允许出现负值,主题只能累加而不能相互抵消,因此每个主题最终会呈现为一组连贯的共现词汇,读者可以为其命名。

历史学

NMF 由 Lee and Seung (1999) 提出,他们证明了学习对象的基于部分的、加性表示可以产生可解释的成分。该技术后来被改编为文本主题模型,Arora et al. (2013) 提供了一种具有可证明保证的主题模型实用算法,从而加强了其理论基础。

何时使用

当您拥有足够多的文档(大约 50 个或更多)并且可以预先确定主题数 k 时,请使用 NMF 主题模型来探索或描述文本语料库。它期望文本数据表示为文档-词项矩阵,并且倾向于使用 TF-IDF 向量化。当易于解释、可命名的主题比完全概率模型更重要时,它是一个不错的选择。

局限与注意事项

  • 主题数 k 必须预先选择,而不是从数据中学习。
  • 需要足够多的文档(大约 50 个或更多)才能恢复稳定的主题。
  • 与概率模型不同,它不提供生成模型或关于主题的原则性不确定性。

来源中的条件不能替代独立的科学审查或分析引擎的验证。

优势

  • 由于其加性、基于部分的分解,产生了比 LDA 更易于解释的主题。
  • 自然地适用于 TF-IDF 文档-词项矩阵,这是文本的标准表示。
  • 概念简单:单一矩阵分解,具有清晰的文档-主题和主题-词项划分。

应用

  • 发现并命名文档集合中的主要主题。
  • 通过其主导主题总结大型语料库以进行探索性分析。
  • 用主题分布标记文档以进行下游描述和搜索。
  • 比较语料库子集的主题结构。

使用方式

使用方式

1

语料库被转换为一个文档-词项矩阵,其中每个文档成为一行加权的词项得分。倾向于使用 TF-IDF 向量化,因为它会降低普遍词的权重,并强调实际区分文档的词项——为分解提供更清晰的信号。

2

文档-词项矩阵近似等于两个非负矩阵的乘积:一个文档-主题矩阵和一个主题-词项矩阵。所选主题数 k 固定了该乘积的内维度,并且拟合分解使得重构矩阵尽可能接近原始矩阵,同时保持所有条目非负。

3

每个主题可以从主题-词项矩阵中读取,方法是检查其列中权重最高的词项。由于所有权重都是非负的并且会累加,因此这些最高权重词项构成了一个可读的主题,可以为其命名——这种加性、基于部分的结构使得 NMF 主题比 LDA 的主题更容易解释。

4

每个文档由其在文档-主题矩阵中的行来描述,该行给出了每个主题在文档中的强度。这些分布可用于总结语料库、用其主导主题标记文档,或用于下游的描述和探索。

常见陷阱

  • 不恰当地设置 k——过少的主题会合并不同的主题,过多的主题会将它们分散成噪声。
  • 跳过 TF-IDF 加权会让频繁的停用词占据主导地位并模糊主题。
  • 在过少的文档上运行会导致恢复的主题不稳定,并且在每次拟合之间发生变化。
  • 将主题列视为精确而非近似——NMF 仅近似重构原始矩阵。

常见问题

NMF 主题模型与 LDA 有何不同?

两者都提取文档-主题分布,但 NMF 是一个强制所有成分非负且加性的矩阵分解,而 LDA 是一个概率生成模型。NMF 的加性、基于部分的结构倾向于使其主题比 LDA 的主题更易于解释。

如何选择主题数 k?

k 必须在拟合之前设置,因为 NMF 不会从数据中学习它。根据领域知识并比较几个 k 值下主题的可解释性和连贯性来选择。

为什么 TF-IDF 比原始计数更受青睐?

TF-IDF 会降低普遍存在的词的权重,并强调区分文档的词项,为分解提供更清晰的信号,并产生更清晰、更易命名的主题。

需要多少文档?

建议的最低数量约为 50 个或更多。文档过少会导致恢复的主题不稳定,并且在每次拟合之间可能发生变化。

相关方法

参考文献

  1. Lee, D.D. & Seung, H.S. (1999). Learning the Parts of Objects by Non-negative Matrix Factorization. Nature, 401, 788-791.

    打开 DOI 文献
    已复制。
  2. Arora, S., Ge, R., Halpern, Y., Mimno, D., Moitra, A., Sontag, D., Wu, Y. & Zhu, M. (2013). A Practical Algorithm for Topic Modeling with Provable Guarantees. Proceedings of the 30th International Conference on Machine Learning (ICML), 280-288.

    打开出版物文献
    已复制。