词义消歧 (WSD)
- 提出者
- Navigli (survey, 2009)
- 年份
- 2009
- 类型
- NLP semantic-disambiguation task
本文为机器翻译,尚未经过审校。 阅读英文原文
它有什么作用?
词义消歧(Word Sense Disambiguation, WSD)是自然语言处理中的一项任务,旨在根据上下文选择多义词的正确含义。Navigli (2009) 的综述指出,它解决了给定句子中多义词的哪个词义适用问题,从而提高了信息检索、机器翻译和问答的质量。
方法背后的直觉
许多日常词语都带有不止一个含义——“bank”可以指河岸,也可以指金融机构,只有周围的词语才能告诉我们指的是哪一个。读者可以自动解决这种歧义,但机器无论如何看到的都是相同的字符序列。WSD 使这种选择明确化:它会查看歧义词周围的词语,将它们与每个候选词义的字典定义进行比较,然后选择最符合上下文的词义。
历史学
词义消歧是计算语言学中一个长期存在的问题。Navigli (2009) 在一篇全面的综述中整合了该领域,而 Mihalcea (2006) 则阐述了基于词汇资源(如 WordNet)而非标注训练数据的知识型方法。
何时使用
当您拥有包含多义词的文本以及列出其词义的词汇知识资源(WordNet 或目标语言本体)以及定义的上下文窗口时,WSD 就适用。它适用于文本数据的解释和分类工作,并且一个适度的语料库(约 20 个单元)足以开始。如果没有可用的语言词义清单,基于知识的 WSD 就无法运行。
局限与注意事项
- 需要可用的 WordNet 或目标语言本体;没有词义清单的语言无法以此方式消歧。
- 准确性取决于定义的上下文窗口捕捉歧义证据的程度。
- 资源中细粒度的词义区分即使在丰富的上下文下也很难区分。
来源中的条件不能替代独立的科学审查或分析引擎的验证。
优势
- 解决多义性,使下游任务读取的是意图含义而不是表面字符串。
- 提高信息检索、机器翻译和问答的质量。
- 基于知识的方法直接从词汇资源工作,无需大型标注训练集。
应用
- 通过匹配查询词的意图词义来提高信息检索的相关性。
- 在翻译前选择正确的词义,从而提高机器翻译的质量。
- 支持必须正确解释歧义词的问答系统。
- 对人文、社会科学和其他文本密集型领域的语料库进行语义分析。
使用方式
使用方式
文本被扫描以查找多义词——即在知识资源中具有多个可能含义的术语。每个这样的词都成为消歧的目标,因为无歧义的词不需要进一步分析。
在每个目标词周围定义一个上下文窗口——即指示意图含义的相邻词语和短语。此窗口的大小和形状是该方法的定义参数,因为周围的证据是驱动决策的关键。
目标词的候选词义从词汇知识资源(如 WordNet 或目标语言本体)中检索。每个候选词义都带有一个解释或定义,描述了该特定含义。
选择与上下文重叠程度最高的词义。像 Lesk 算法这样的基于知识的方法将上下文窗口中的词语与每个词义的解释进行比较,并选择最佳匹配,为上下文中的词语分配单个词义标签。
常见陷阱
- 将为一种语言构建的资源应用于另一种语言的文本——词义清单必须与语料库语言匹配。
- 使用太窄而无法携带歧义信号的上下文窗口,或太宽而引入无关词语的上下文窗口。
- 假设每个词都是歧义的;将消歧限制在真正多义的目标上,以避免浪费精力并减少噪声。
常见问题
WSD 需要什么知识资源?
基于知识的 WSD 依赖于列出词语词义的词汇资源——英语使用 WordNet,或目标语言使用等效的本体。该资源提供候选词义及其解释,方法将其与上下文进行比较。
上下文窗口如何重要?
上下文窗口是用于决定哪个词义适用的相邻词语集合。它是一个定义好的参数:太窄则会错过歧义信号,太宽则会引入无关词语。选择合适的窗口是该方法的核心。
什么是 Lesk 算法?
Lesk 是一种经典的基于知识的方法,它将上下文窗口中的词语与每个候选词义的字典解释进行比较,并选择重叠度最高的词义。它直接从词汇资源工作,无需标注训练数据。
WSD 对英语以外的语言有效吗?
是的,前提是该语言存在词义清单或本体。将 WordNet 等英语资源应用于另一种语言的文本将无法产生正确的词义;资源必须与语料库语言匹配。