拼写和语法检查 — 自动化文本校对
- 提出者
- Daniel Naber (rule-based checker); Peter Norvig (statistical spelling correction)
- 年份
- 2003
- 类型
- Text-mining preprocessing / quality-assessment task
本文为机器翻译,尚未经过审校。 阅读英文原文
它有什么作用?
拼写和语法检查是一项文本挖掘任务,用于检测文本中的拼写错误和语法错误,并提出修正建议。它建立在 Naber 的基于规则的风格和语法检查器(2003)以及 Norvig 的统计拼写纠正器(2009)的基础上,用于数据质量评估和文本规范化,以供进一步分析。
方法背后的直觉
当你阅读文本时,你会本能地注意到拼写错误的单词或不通顺的句子,并知道如何修正它。自动化检查器能够大规模地模仿这种判断:它将每个单词与词典或语言模型进行比较,以标记看起来不正确的内容,然后提供最可能的替换建议。与其手动校对语料库,不如让这个流程为你筛选出候选错误和建议的修复方案,供你确认。
历史学
自动化校对有两个互补的根源。Naber(2003)将基于规则的风格和语法检查器形式化,该检查器将可配置的模式与文本进行匹配,这种方法发展成了广泛使用的开放式语法检查工具。Norvig(2009)推广了一种紧凑的统计拼写纠正器,它根据概率和编辑距离对候选单词进行排序。两者共同构成了该领域的主要策略——显式规则和概率语言模型。
何时使用
当你拥有文本数据,并且其语言存在相应的词典或语言模型时,就可以使用拼写和语法检查。它非常适合在下游分析之前进行数据质量评估和文本规范化,并且可以处理小型语料库(约十个文档以上)。它假定目标语言的资源可用;性能因语言而异,对于低资源语言来说性能有限。
局限与注意事项
- 需要目标语言的词典或语言模型。
- 基于规则的方法无法捕获依赖上下文的错误,需要语言模型。
- 性能因语言而异,对于低资源语言来说性能有限。
来源中的条件不能替代独立的科学审查或分析引擎的验证。
优势
- 一种简单、入门级的技术,可在任何下游分析之前提高文本质量。
- 检测错误并提出具体的修正建议,而不仅仅是标记问题。
- 既可用于数据质量评估,也可用于单次运行中的文本规范化。
应用
- 在分析之前评估文本语料库的质量。
- 规范化自由文本字段,以便下游文本挖掘接收更干净的输入。
- 大规模校对文档、调查回复或用户生成内容。
- 清理为人文、社会科学和商业研究收集的嘈杂文本。
使用方式
使用方式
文本被分割成可分析的单元——单词、标点符号和句子。清晰的分词是让检查器能够单独检查每个单词并在上下文中检查每个句子的关键。
检查每个词元是否存在错误。词典或拼写模型会标记未识别的单词,而基于规则的模式可以捕获语法错误,如搭配或词序问题。基于规则的方法难以处理依赖上下文的错误,可能需要语言模型。
对于每个标记的项目,检查器都会提出修正建议,并根据其可能性对候选替换词进行排序——例如,根据与已知单词的编辑距离或语言模型在特定位置的预期。
标记的错误及其建议会呈现给用户进行确认,接受的修正会被应用,从而生成规范化、更干净的文本。这个“人在回路中”的步骤可以防止对有效但罕见的措辞进行过度修正。
常见陷阱
- 依赖上下文的错误(拼写正确但用词错误)会绕过基于规则的检查器;需要语言模型来捕获它们。
- 将为一种语言构建的检查器应用于另一种语言的文本会产生不可靠的结果——请将词典或模型与语料库语言匹配。
- 盲目接受所有建议可能会过度修正有效的名称、术语或不寻常但故意的措辞。
- 期望在低资源语言上获得强劲结果,因为这些语言的词典和模型稀疏。
常见问题
拼写检查和语法检查有什么区别?
拼写检查将每个单词与词典或拼写模型进行比较,并标记其未识别的单词。语法检查通常使用规则或语言模型来检查结构——搭配、词序和类似模式。两者是互补的,并且经常一起运行。
基于规则的检查器能捕获所有错误吗?
不能。基于规则的方法可以很好地处理拼写错误和基于模式的语法错误,但依赖上下文的错误——拼写正确但对句子而言错误的单词——需要语言模型来检测。
它适用于任何语言吗?
只有当该语言存在词典或语言模型时才适用,并且资源必须与语料库语言匹配。性能因语言而异,并且对于低资源语言来说性能有限。
我应该自动应用建议的修正吗?
请先进行审查。自动接受可能会过度修正有效的名称、技术术语或故意不寻常的措辞,因此建议进行“人在回路中”的确认步骤。