Skip to content
返回搜索结果

Word2Vec — 词嵌入

提出者
Tomas Mikolov et al.
年份
2013
类型
Neural word-embedding model

本文为机器翻译,尚未经过审校。 阅读英文原文

字号

它有什么作用?

Word2Vec 是一种由 Mikolov 及其同事于 2013 年提出的神经词嵌入技术,它将文本语料库中的每个单词映射到一个稠密的数值向量。出现在相似上下文中的单词在向量空间中会彼此靠近,因此这些嵌入能够捕捉可以通过算术方法衡量的语义相似性。

方法背后的直觉

计算机无法直接比较词语的含义,但它可以从词语的搭配中学习。Word2Vec 读取大型语料库,并注意到哪些词倾向于围绕哪些其他词出现。在相似上下文中使用的词语会获得相似的向量,因此“国王”会靠近“王后”,而远离“香蕉”。含义被编码为空间中的位置,相似性变成了一个可以计算的距离。

历史学

Word2Vec 由 Mikolov 及其同事于 2013 年提出,作为在向量空间中估计词语表示的一种有效方法,提供了 skip-gram 和 continuous bag-of-words 架构。它普及了稠密的分布式词嵌入,随后出现了 GloVe 等相关方法,以及后来的上下文嵌入。

何时使用

当您拥有大型无标签文本语料库并想要捕捉词语之间语义相似性的稠密向量表示时,请使用 Word2Vec。它适合文本的探索性和关系性分析。需要一个相当大的语料库(大约一百篇文档或更多,理想情况下要大得多);在小型语料库上,模型无法学习有意义的嵌入,而像 GloVe 这样的预训练向量是更好的选择。完全没有文本数据时,无法构建词嵌入。

局限与注意事项

  • 需要大型文本语料库;小型语料库会产生不稳定、无意义的嵌入。
  • 训练前需要仔细的文本预处理。
  • 为每个单词分配一个向量,因此它无法区分同一单词在不同上下文中的不同含义。

来源中的条件不能替代独立的科学审查或分析引擎的验证。

优势

  • 捕捉语义相似性,使相关词在向量空间中彼此靠近。
  • 生成稠密的紧凑向量,作为下游文本任务的数值特征。
  • 仅从无标签文本中学习——无需手动标注。

应用

  • 测量词语之间的语义相似性,用于搜索和推荐。
  • 生成数值词特征,用于文本聚类和分类。
  • 探索大型文本语料库中的关系和类比。
  • 在研究和行业中,从领域特定的语料库构建词汇资源。

使用方式

使用方式

1

一个大型文本语料库被清理并分词成一系列单词。Word2Vec 需要一个相当大的语料库——至少几千个句子——因为嵌入是纯粹从共现模式中学习的,文本太少会导致向量不稳定且无意义。

2

每个单词都与其在滑动上下文窗口内围绕它的单词配对。这些(目标词,上下文词)对是训练信号:它们编码了哪些词一起出现,并构成了学习上下文相似词应具有相似向量的基础。

3

一个浅层神经网络在上下文对上进行训练,使用 skip-gram 架构(从目标词预测周围词)或 continuous bag-of-words(从周围词预测目标词)中的一种。网络权重会被调整,直到相似上下文中的词语获得相似的向量。

4

训练后,每个单词都由其学习到的稠密向量表示——通常是 100 到 300 维。然后可以使用余弦相似度比较这些嵌入以查找相关词,或将其用作下游任务(如聚类或分类)的数值特征。

常见陷阱

  • 在语料库太小(少于约 100 篇文档)的情况下进行训练会产生噪声而非意义——宁愿选择预训练的 GloVe 向量。
  • 跳过预处理会留下污染学习向量的噪声标记。
  • 试图在没有任何文本数据的情况下构建嵌入——Word2Vec 无从学习;应改为聚类结构化数据。
  • 将每个单词的单个静态向量视为捕捉了该单词的所有含义。

常见问题

skip-gram 和 CBOW 有什么区别?

两者都是用于学习嵌入的浅层神经网络架构。Skip-gram 从给定的目标词预测周围的上下文词,而 continuous bag-of-words (CBOW) 从周围的上下文预测目标词。它们产生可比的嵌入,skip-gram 在小型语料库和稀有词上通常表现更好。

我的语料库需要多大?

Word2Vec 完全从共现中学习,因此它需要一个相当大的语料库。在非常小的文本(少于约一百篇文档)上,它无法学习有意义的向量;在这种情况下,像 GloVe 这样的预训练嵌入是更安全的选择。

如何衡量两个词之间的相似性?

使用余弦相似度比较它们学习到的向量。在相似上下文中使用的词语会获得相似的向量,因此高余弦相似度表明语义相关的词语。

Word2Vec 能区分同一个词的不同含义吗?

不能。它为每个单词分配一个单一的静态向量,将所有含义混合在一起。区分上下文中的词语含义需要上下文嵌入模型,而不是 Word2Vec。

相关方法

参考文献

  1. Mikolov, T., Chen, K., Corrado, G. & Dean, J. (2013). Efficient Estimation of Word Representations in Vector Space.

    打开出版物文献
    已复制。