语义相似度 — 衡量文本间的意义距离
- 提出者
- Nils Reimers & Iryna Gurevych (Sentence-BERT)
- 年份
- 2019
- 类型
- NLP text-comparison task
本文为机器翻译,尚未经过审校。 阅读英文原文
它有什么作用?
语义相似度分析衡量的是两段文本在意义上的接近程度,而非表面上共享词语的数量。基于 Reimers 和 Gurevych (2019) 的 Sentence-BERT 工作,它将每段文本表示为一个向量,并比较这些向量,从而使释义文本即使在措辞不同时也能获得高分。
方法背后的直觉
两句话可以完全使用不同的词语表达相同的意思,而另外两句话可以共享词语但意思却不同。计算重叠词语会忽略这一点。这里的想法是使用嵌入模型将每段文本放置在意义空间中的一个点上——使得意义相似的文本彼此靠近。这些点之间的距离就成为一个相似度分数:释义文本分数高,不相关文本分数低。
历史学
语义相似度源于在 *SEM 和 SemEval (Agirre et al., 2013) 上引入的语义文本相似度共享任务,这些任务构建了对两个句子在意义上相似程度进行评分的问题。随着 Sentence-BERT (Reimers & Gurevych, 2019) 的出现,该领域取得了显著进展,它生成了可以直接与余弦相似度比较的句子嵌入,使得大规模语义比较成为可能。
何时使用
当您有文本对并想知道它们在意义上的接近程度而不是共享词语的数量时,请使用语义相似度——用于抄袭和重复检测、段落匹配或信息检索。它需要一个支持文本语言的嵌入模型,并且至少需要一小组文本对进行比较;没有文本数据就无法运行。
局限与注意事项
- 需要文本对进行比较;当没有文本数据时,不适用。
- 质量完全取决于嵌入模型是否匹配文本的语言。
- 相似度分数反映了模型对意义的理解,这可能与特定领域或法律上对“相同”的定义不符。
来源中的条件不能替代独立的科学审查或分析引擎的验证。
优势
- 捕捉意义而非表面词语重叠,因此措辞不同的释义文本仍被评为相似。
- 当使用多语言嵌入模型时,可跨语言工作。
- 为每对生成一个单一的、可比较的分数,易于为重复检测或检索等任务设置阈值。
应用
- 通过将提交的文本与参考来源进行比较来进行抄袭和复制检测。
- 跨文档的段落和篇章匹配。
- 信息检索——根据与查询的意义接近程度对文档进行排序。
- 对大型文本集合中近乎相同的内容进行去重。
使用方式
使用方式
您从需要比较的文本对开始——例如,一篇提交的段落与一篇参考文本,或者一个查询与候选文档。至少需要一组适度的文本对,比较才有意义,并且每对中的两个成员必须同时可用。
每段文本都通过一个嵌入模型,该模型将其转换为捕捉其意义的数值向量。嵌入模型必须支持您文本的语言;当语料库不是英语时,会使用多语言句子嵌入模型。这一步使得措辞不同的释义文本仍能映射到附近的向量。
最常使用余弦相似度来比较两个文本的向量,从而产生一个总结文本意义接近程度的单一数字。较高的值表示更接近的意义;分数是有限的,并且可以跨文本对进行比较。
在上下文中解读相似度分数——标记可能的抄袭、对匹配的段落进行排序,或检索最相关的段落。通常会为手头的任务选择一个阈值,并在采取任何行动之前检查边界文本对。
常见陷阱
- 应用不支持语料库语言的嵌入模型会产生不可靠的分数;请将模型与语言匹配。
- 将相似度分数视为硬性判决——选择适合任务的阈值,并检查边界文本对,而不是仅仅依赖数字。
- 比较的文本对太少,为选择合理的阈值提供了很少依据。
常见问题
这与比较共享词语有何不同?
词语重叠度度量只计算匹配的词元,因此它们会忽略用不同词语表达相同意思的释义文本。语义相似度将每段文本嵌入到一个意义空间中并比较向量,因此即使措辞不同,也能捕捉到意义上的接近程度。
它是否适用于英语以外的语言?
是的,前提是嵌入模型支持目标语言。当语料库不是英语时,会使用多语言句子嵌入模型;应用不支持该语言的模型会产生不可靠的分数。
我如何将相似度分数转化为决策?
选择适合任务的阈值——例如,为标记可能的抄袭设置一个高截止值——并在采取行动之前检查边界文本对。原始分数可以跨文本对进行比较,但它本身并不是一个判决。
相似度分数是如何计算的?
每段文本由一个嵌入模型编码成一个向量,然后比较这两个向量,最常见的是使用余弦相似度,得到一个单一的有界数字,值越高表示意义越接近。