Doc2Vec — 文档嵌入
- 提出者
- Quoc V. Le & Tomas Mikolov
- 年份
- 2014
- 类型
- Document-embedding representation learning
本文为机器翻译,尚未经过审校。 阅读英文原文
它有什么作用?
Doc2Vec,也称为 Paragraph Vector,是由 Le 和 Mikolov (2014) 提出的一种表示学习方法,它将整个文档映射到固定长度的稠密向量。这些向量将相似的文档放置在空间中的相近位置,支持文档比较和分类。
方法背后的直觉
文档由许多不同长度的词语组成,但大多数模型需要将每个文档表示为一个固定大小的数字集合。Doc2Vec 通过训练文档及其词语来学习每个文档的单个稠密向量,以预测其包含的文本。谈论相似事物的文档最终会得到相似的向量,因此两个向量之间的几何距离成为衡量文档相关程度的可用度量。
历史学
Doc2Vec,或称 Paragraph Vector,由 Quoc Le 和 Tomas Mikolov 在他们 2014 年的 ICML 论文 Distributed Representations of Sentences and Documents 中提出。它将学习稠密词向量的思想扩展到整个句子和文档,为每段文本赋予其自己学习到的固定长度表示。
何时使用
当您拥有一个文本语料库并希望为每个文档获得一个用于比较、分类或关系分析的单个稠密向量时,Doc2Vec 非常适用。它假定有足够数量和长度的文档——大约 100 个或更多文档——并且已经完成了文本预处理。文档太少或太短,学习到的向量将不可靠。
局限与注意事项
- 需要足够数量和长度的文档来学习稳定的向量;小型语料库会产生不可靠的嵌入。
- 训练前需要适当的文本预处理。
- 性能取决于训练选择,例如向量大小和 epoch 数量。
来源中的条件不能替代独立的科学审查或分析引擎的验证。
优势
- 为整个文档生成一个单一的固定长度稠密向量,无论其原始长度如何。
- 嵌入将相似的文档彼此靠近,从而实现直接比较和相似性搜索。
- 生成的向量自然地馈送到分类和关系分析中。
应用
- 通过相似性比较文档以进行搜索和检索。
- 使用学习到的向量作为特征对文档进行分类。
- 通过语义邻近性对大型文本语料库进行聚类或探索。
- 研究人文、社会和商业领域中文档之间的关系。
使用方式
使用方式
语料库被清理并分词成模型将从中学习的单元。需要一致的文本预处理,以便文档具有可比性并且学习到的向量是稳定的。
每个文档都与一个唯一的标签(标识符)配对。这个标签是模型将与之关联的已学习向量,让每个文档在训练过程中都保留其独特的表示。
模型在带标签的文档上训练多个周期(epochs),联合学习词语和文档向量,以便每个文档向量有助于预测其包含的词语。选择的向量大小决定了最终嵌入的维度。
训练完成后,每个文档都由其固定长度的稠密向量表示。这些嵌入可以直接比较——例如通过距离或相似度——并馈送到下游的分类或关系任务。
常见陷阱
- 在文档数量太少(低于约 100 个)的情况下运行会产生嘈杂、不稳定的向量。
- 跳过或不一致地应用预处理会使学习到的向量难以比较。
- 非常短的文档包含的信号太少,无法形成有意义的嵌入。
- 将向量大小和 epoch 视为固定的默认值,而不是针对语料库进行调整。
常见问题
Doc2Vec 与词嵌入有何不同?
词嵌入方法为每个词学习一个向量。Doc2Vec 为每个整个文档学习一个额外的向量,因此您会获得每个文档的一个固定长度表示,而无需自己组合词向量。
我需要多少文档?
该方法假定有足够数量和长度的文档——大约 100 个或更多。文档数量远少于此,或文档非常短,学习到的向量将变得不可靠。
我需要先预处理文本吗?
是的。在训练之前,应一致地清理和分词语料库,否则学习到的文档向量将难以比较。
我可以用生成的向量做什么?
每个文档变成一个固定长度的稠密向量,您可以通过距离或相似度进行比较,或直接将其用作分类和关系分析的输入特征。
相关方法
参考文献
Le, Q. V. & Mikolov, T. (2014). Distributed Representations of Sentences and Documents. Proceedings of the 31st International Conference on Machine Learning (ICML), 1188-1196.
打开出版物文献已复制。