Skip to content
返回搜索结果

Doc2Vec — 文档嵌入

提出者
Quoc V. Le & Tomas Mikolov
年份
2014
类型
Document-embedding representation learning

本文为机器翻译,尚未经过审校。 阅读英文原文

字号

它有什么作用?

Doc2Vec,也称为 Paragraph Vector,是由 Le 和 Mikolov (2014) 提出的一种表示学习方法,它将整个文档映射到固定长度的稠密向量。这些向量将相似的文档放置在空间中的相近位置,支持文档比较和分类。

方法背后的直觉

文档由许多不同长度的词语组成,但大多数模型需要将每个文档表示为一个固定大小的数字集合。Doc2Vec 通过训练文档及其词语来学习每个文档的单个稠密向量,以预测其包含的文本。谈论相似事物的文档最终会得到相似的向量,因此两个向量之间的几何距离成为衡量文档相关程度的可用度量。

历史学

Doc2Vec,或称 Paragraph Vector,由 Quoc Le 和 Tomas Mikolov 在他们 2014 年的 ICML 论文 Distributed Representations of Sentences and Documents 中提出。它将学习稠密词向量的思想扩展到整个句子和文档,为每段文本赋予其自己学习到的固定长度表示。

何时使用

当您拥有一个文本语料库并希望为每个文档获得一个用于比较、分类或关系分析的单个稠密向量时,Doc2Vec 非常适用。它假定有足够数量和长度的文档——大约 100 个或更多文档——并且已经完成了文本预处理。文档太少或太短,学习到的向量将不可靠。

局限与注意事项

  • 需要足够数量和长度的文档来学习稳定的向量;小型语料库会产生不可靠的嵌入。
  • 训练前需要适当的文本预处理。
  • 性能取决于训练选择,例如向量大小和 epoch 数量。

来源中的条件不能替代独立的科学审查或分析引擎的验证。

优势

  • 为整个文档生成一个单一的固定长度稠密向量,无论其原始长度如何。
  • 嵌入将相似的文档彼此靠近,从而实现直接比较和相似性搜索。
  • 生成的向量自然地馈送到分类和关系分析中。

应用

  • 通过相似性比较文档以进行搜索和检索。
  • 使用学习到的向量作为特征对文档进行分类。
  • 通过语义邻近性对大型文本语料库进行聚类或探索。
  • 研究人文、社会和商业领域中文档之间的关系。

使用方式

使用方式

1

语料库被清理并分词成模型将从中学习的单元。需要一致的文本预处理,以便文档具有可比性并且学习到的向量是稳定的。

2

每个文档都与一个唯一的标签(标识符)配对。这个标签是模型将与之关联的已学习向量,让每个文档在训练过程中都保留其独特的表示。

3

模型在带标签的文档上训练多个周期(epochs),联合学习词语和文档向量,以便每个文档向量有助于预测其包含的词语。选择的向量大小决定了最终嵌入的维度。

4

训练完成后,每个文档都由其固定长度的稠密向量表示。这些嵌入可以直接比较——例如通过距离或相似度——并馈送到下游的分类或关系任务。

常见陷阱

  • 在文档数量太少(低于约 100 个)的情况下运行会产生嘈杂、不稳定的向量。
  • 跳过或不一致地应用预处理会使学习到的向量难以比较。
  • 非常短的文档包含的信号太少,无法形成有意义的嵌入。
  • 将向量大小和 epoch 视为固定的默认值,而不是针对语料库进行调整。

常见问题

Doc2Vec 与词嵌入有何不同?

词嵌入方法为每个词学习一个向量。Doc2Vec 为每个整个文档学习一个额外的向量,因此您会获得每个文档的一个固定长度表示,而无需自己组合词向量。

我需要多少文档?

该方法假定有足够数量和长度的文档——大约 100 个或更多。文档数量远少于此,或文档非常短,学习到的向量将变得不可靠。

我需要先预处理文本吗?

是的。在训练之前,应一致地清理和分词语料库,否则学习到的文档向量将难以比较。

我可以用生成的向量做什么?

每个文档变成一个固定长度的稠密向量,您可以通过距离或相似度进行比较,或直接将其用作分类和关系分析的输入特征。

相关方法

参考文献

  1. Le, Q. V. & Mikolov, T. (2014). Distributed Representations of Sentences and Documents. Proceedings of the 31st International Conference on Machine Learning (ICML), 1188-1196.

    打开出版物文献
    已复制。