句子嵌入
- 提出者
- Kiros et al. (Skip-Thought, 2015); Reimers & Gurevych (Sentence-BERT, 2019)
- 年份
- 2015–2019
- 类型
- Representation learning / embedding
- 类别
- Deep learning / NLP / CV
本文为机器翻译,尚未经过审校。 阅读英文原文
它有什么作用?
句子嵌入将一个句子或短文本转换为一个单一的、固定长度的密集向量,该向量捕捉其语义含义。这些向量使得下游任务——语义相似度、聚类、检索和分类——能够在数值表示上操作,而不是原始文本,这使得它们成为现代自然语言处理(NLP)管道中最通用的构建块之一。
方法背后的直觉
想象一下,每个句子都像是高维空间中的一个点,其含义决定了它们之间的距离:两个意思相同但用词不同的句子会非常接近,而无关的句子则相距甚远。句子嵌入模型从大型语料库中学习这种几何关系。一旦模型训练完成,嵌入一个新句子只需一次前向传播——无需进一步训练——任何下游任务都可以直接使用这些坐标。这种预训练几何关系的重用是句子嵌入强大的原因:您可以比较、聚类或分类数百万条文本,而无需特定任务的标签。
历史学
早期的句子表示使用了平均词向量(word2vec, GloVe)。Skip-Thought Vectors(Kiros等人,2015)训练了一个编码器-解码器来预测周围的句子,产生了第一个深度上下文句子嵌入。InferSent(Conneau等人,2017)在NLI对上进行了微调,并显示了强大的迁移能力。Sentence-BERT(Reimers & Gurevych, 2019)将Siamese BERT架构应用于NLI数据,并极大地提高了BERT派生嵌入的质量,同时将10,000个句子对的相似度计算时间从65小时缩短到约5秒。
何时使用
当您需要衡量语义相似度、聚类文档、执行密集检索或在没有每个示例的特定任务标签的情况下将文本输入分类器时,请使用句子嵌入。当您拥有中等到大量的文本,并希望获得可跨任务迁移的通用表示时,它们表现出色。当您需要校准的概率或可解释的特征权重时,请勿使用原始句子嵌入——未经微调或任务头部。它们也不适合非常短的文本(一两个词)、没有预训练编码器可用的语言,或者计算资源严重受限的情况,因为编码数百万个长文档可能成本高昂。
局限与注意事项
- 嵌入质量在很大程度上取决于预训练模型的质量和领域;领域外文本会降低性能。
- 将非常长的文档表示为单个固定向量会丢失细粒度的局部信息。
- 下游决策的余弦相似度阈值必须通过经验校准,并且不是通用的。
- 大型编码器模型需要GPU内存;存储数百万个文档的嵌入需要大量磁盘空间。
来源中的条件不能替代独立的科学审查或分析引擎的验证。
优势
- 捕捉词袋模型和TF-IDF所忽略的丰富语义含义,例如同义词和释义。
- 预训练模型可以开箱即用,只需很少或无需标记数据即可迁移到新领域。
- 推理速度快:一旦编码,使用类似FAISS的索引对数百万个向量进行相似度搜索只需毫秒。
- 用途广泛:相同的嵌入可用于聚类、检索、语义去重和分类。
- 多语言变体(例如,paraphrase-multilingual-mpnet)使用单个模型处理跨语言相似度。
应用
- 学术和商业文本语料库中的语义文本相似度与释义检测。
- 开放域问答和搜索引擎中的密集段落检索。
- 用于无预定义类别的语义发现的文档和段落聚类。
- 通过将嵌入与标签原型进行比较来实现零样本和少样本文本分类。
- 大型文献数据库中的近重复检测和去重。
- 多语言研究综合中的跨语言语义对齐。
使用方式
使用方式
输入句子根据编码器的词汇表被分割成词元(子词或词)——通常是类似BERT的WordPiece或SentencePiece分词器。插入特殊词元,如[CLS]和[SEP],以标记句子边界,为编码器准备序列。
一个深度编码器——最常见的是预训练的Transformer,如BERT或RoBERTa——处理词元序列,并为每个位置生成一个上下文隐藏状态。每个隐藏状态都携带关于其词元在整个句子上下文中的信息。
公式
\mathbf{s} = \text{Pooling}(\text{Encoder}(w_1, \ldots, w_n)) \in \mathbb{R}^d通过池化操作将每个词元的隐藏状态压缩成一个固定大小的向量。均值池化(对所有词元向量取平均)和CLS词元提取是两种最常见的选择。Sentence-BERT表明,对所有词元状态进行均值池化始终优于原始CLS向量。
为了获得高质量的嵌入,编码器会使用对比学习或语义相似度目标进行微调。Sentence-BERT使用一个Siamese网络,在自然语言推理对上进行训练,将语义相似的句子在嵌入空间中推近,将不相似的句子推远。
在推理时,使用余弦相似度比较两个句子向量:单位归一化向量的点积。接近1的分数表示语义等价;接近0的分数表示正交。这个单一数字驱动着检索、去重、聚类和分类任务。
公式
\text{sim}(\mathbf{s}_i, \mathbf{s}_j) = \frac{\mathbf{s}_i \cdot \mathbf{s}_j}{\|\mathbf{s}_i\|\|\mathbf{s}_j\|}常见陷阱
- 使用未经微调的基础BERT模型的原始[CLS]词元作为句子嵌入——这会产生低质量、非各向同性的嵌入。
- 比较由不同编码器架构或池化策略产生的嵌入,这使得余弦分数无法比较。
- 选择一个相似度阈值(例如,0.85表示“重复”),而未在您所在领域的留出数据上进行校准。
- 在计算余弦相似度时,忽略了在仅使用点积的搜索索引中对向量进行归一化的需求。
- 将嵌入视为可解释的:单个维度本身不携带语义含义。
常见问题
我应该使用哪个预训练模型?
对于英语通用相似度,来自sentence-transformers库的'all-mpnet-base-v2'是一个强大的默认选项。对于多语言任务,'paraphrase-multilingual-mpnet-base-v2'涵盖了50多种语言。在投入使用前,务必在目标领域的小样本上进行基准测试。
这与直接使用BERT有何不同?
标准的BERT会生成针对词元级任务优化的逐词元表示。将其原始输出(例如,[CLS]向量)用作句子嵌入会产生较差的余弦相似度结果。Sentence-BERT使用对比目标对BERT进行微调,因此生成的向量明确地为句子级比较而构建。
我需要多少标记示例?
来自sentence-transformers库的现成句子嵌入模型在推理时不需要任何标记示例。如果您在自己的领域进行微调,即使是几百对带有相似度标签的句子也能显著提高性能。
我能用句子嵌入来处理长文档吗?
大多数编码器都有词元限制(基于BERT的模型为512个词元)。对于较长的文本,您可以将文档分割成句子或段落,嵌入每个块,然后对块向量进行池化。或者,像Longformer这样的模型可以原生处理更长的上下文。
我如何评估我的嵌入质量?
标准基准包括STS-B(语义文本相似度基准)和MTEB(大规模文本嵌入基准)。在您自己的数据上,人工标注的句子对及其相似度分数可以计算模型分数与人类判断之间的Spearman相关系数。
相关方法
参考文献
Reimers, N., & Gurevych, I. (2019). Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks. Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing (EMNLP), 3980–3990.
打开 DOI 文献已复制。Kiros, R., Zhu, Y., Salakhutdinov, R., Zemel, R. S., Torralba, A., Urtasun, R., & Fidler, S. (2015). Skip-Thought Vectors. Advances in Neural Information Processing Systems (NeurIPS), 28.
打开出版物文献已复制。