GloVe 词嵌入 — 词语全局向量表示
- 提出者
- Pennington, Socher & Manning
- 年份
- 2014
- 类型
- Static word-embedding model
本文为机器翻译,尚未经过审校。 阅读英文原文
它有什么作用?
GloVe(Global Vectors for Word Representation,词语全局向量表示)是由 Pennington、Socher 和 Manning 于 2014 年提出的一个静态词嵌入模型,它直接从整个语料库收集的全局词-词共现统计数据中学习词向量。所得向量将语义相关的词语放置在相近位置,并在语义类比任务上表现出色。
方法背后的直觉
出现在相似语境中的词语往往具有相似的含义。GloVe 不像某些方法那样一次只扫描一小段文本窗口,而是首先统计语料库中每对词语的共现次数,然后拟合向量,使得这些计数之间的关系被捕捉为词向量之间的几何关系。其优势在于简单的向量运算能够反映含义——这种结构使得诸如“国王之于王后,如同男人之于女人”之类的类比关系能够从几何学中自然产生。
历史学
GloVe 由 Pennington、Socher 和 Manning 于 2014 年 EMNLP 会议上提出。它被定位为一个结合了全局矩阵分解方法和局部上下文窗口方法优点的模型,通过直接在全局词-词共现矩阵上进行训练,并成为预训练静态词向量的广泛使用的来源。
何时使用
当您需要每个词语的固定、可重用向量,并且拥有大型文本语料库进行训练或可以依赖预训练的 GloVe 向量时,GloVe 可以拟合文本数据。它需要相当数量的文本——大约一百个文档或更多——并且必须先进行文本预处理。它适用于语义关系和词语相似度的探索性工作;如果没有文本数据,GloVe 将无法运行。
局限与注意事项
- 向量是静态的:每个词语无论上下文如何都只有一个向量,因此无法区分词语的不同含义。
- 从头开始训练需要大型文本语料库才能产生可靠的向量。
- 共现统计数据取决于语料库,因此在一个领域上训练的模型可能难以迁移到另一个领域。
来源中的条件不能替代独立的科学审查或分析引擎的验证。
优势
- 从全局语料库范围的共现统计数据中学习,而非仅限于局部上下文窗口。
- 在语义类比和词语相似度任务上表现出色。
- 可以直接加载预训练的 GloVe 向量,无需在大型语料库上进行训练。
应用
- 计算词汇表中词语相似度和最近邻。
- 通过向量运算解决语义类比任务。
- 为下游文本分类或聚类模型提供预训练的词特征作为输入。
- 探索大型文本语料库中的语义结构和关系。
使用方式
使用方式
对语料库进行分词和清理,以确保词汇一致性。在开始计数之前需要进行文本预处理,因为共现统计数据的质量取决于一个干净、定义明确的词汇表。
通过统计整个语料库中每对词语在上下文窗口内共同出现的次数来构建全局词-词共现矩阵。该矩阵是赋予 GloVe 名称并将其与纯粹的局部、逐窗口方法区分开来的全局统计数据。
GloVe 将词向量拟合到共现矩阵,使得两个词向量的点积近似于它们共现次数的对数。频繁共现的词对会被降权,以避免非常常见的词对占据主导地位,从而生成指定维度的密集静态向量。
训练好的(或预训练的)向量随后用于下游任务:测量词语相似度、解决类比问题或作为其他模型的输入特征。可以从头开始训练一个大型语料库,也可以直接加载现成的预训练 GloVe 向量。
常见陷阱
- 跳过文本预处理会导致词汇表混乱,并降低模型依赖的共现计数质量。
- 在文本量过少(远少于约 100 个文档)的情况下训练会产生不稳定的向量——当语料库较小时,优先使用预训练向量。
- 将 GloVe 视为上下文感知模型:它为每个词语分配一个固定的向量,因此无法像上下文模型那样区分同一词语的不同含义。
- 在某个领域或语言上训练的向量应用于另一个领域或语言,而不检查词汇表是否匹配。
常见问题
GloVe 与 word2vec 有何不同?
两者都生成静态词向量,但 GloVe 在构建自整个语料库的全局词-词共现矩阵上进行训练,而 word2vec 则从文本中扫描的局部上下文窗口中学习。GloVe 的设计旨在结合矩阵分解的全局统计观点和上下文窗口的观点。
我需要自己训练 GloVe 吗?
不一定。您可以从头开始在大型语料库上进行训练,或直接加载现成的预训练 GloVe 向量。当您的语料库较小时,预训练向量是更安全的选择。
为什么这些向量被称为“静态”?
每个词语无论出现在哪个句子中,都会获得一个固定的向量。这意味着 GloVe 无法像上下文嵌入模型那样区分同一词语在上下文中不同的含义。
我需要多少文本?
从头开始训练需要大型语料库才能提供可靠的共现统计数据;大约一百个文档或更多是一个实际的基准,并且必须先进行预处理。在此之下,请依赖预训练向量。
相关方法
参考文献
Pennington, J., Socher, R. & Manning, C. D. (2014). GloVe: Global Vectors for Word Representation. EMNLP.
打开 DOI 文献已复制。