它有什么作用?
文本规范化是自然语言处理(NLP)预处理流程中的一个环节,它将嘈杂、缩写或拼写错误的文本(例如短信、社交媒体帖子和光学字符识别(OCR)输出)转换为干净、标准化的形式。它是几乎所有下游NLP任务的先决步骤,确保不一致的表面形式不会降低分词、解析或分类的性能。该方法通过Baldwin和Li(2015)以及Sproat和Jaitly(2017)获得了系统的学术处理。
方法背后的直觉
在干净报纸文本上训练的机器无法识别“gr8”、“u”或“tmrw”是“great”、“you”或“tomorrow”这些词。在进行任何更深层次的分析之前,原始噪声文本必须被转换为一致的表面形式。文本规范化正是这样做的:它识别存在的噪声类型——缩写、拼写错误、俚语、表情符号、特殊字符——并应用有针对性的规则或学习模型将每个非标准词元转换为其规范等效形式,以便所有后续工具都能看到统一、可预测的词汇。
历史学
对用户生成内容的文本规范化进行系统研究,是受2000年代后期推特和短信作为研究语料库兴起的推动。Baldwin和Li(2015)对规范化策略对推特文本下游NLP准确性的影响进行了最彻底的实证分析之一,建立了后续工作所依据的基准。与此同时,Sproat和Jaitly(2017)将文本规范化视为一个序列到序列学习问题,并发布了挑战数据,推动了神经方法的采用。早期的工作将规范化视为拼写纠正或词典查找任务;神经框架统一了这些思路,并为端到端学习管道打开了大门。
何时使用
当源文本包含下游NLP管道会误解的非标准词元时,应应用文本规范化:社交媒体数据、短信语料库、OCR数字化的历史文献和非正式聊天记录是典型案例。必须满足两个假设:噪声类型必须能够提前识别,并且必须有针对预期标准形式的目标语言词典或语言模型。如果文本已经干净且标准,规范化不会增加任何益处,并且可能因过度纠正有意的文体选择而引入错误。
局限与注意事项
- 需要预先了解噪声类型:为短信缩写设计的规则集可能在OCR错误或特定领域俚语上表现不佳。
- 必须存在针对预期标准形式的目标语言词典或语言模型;低资源语言可能缺乏这些资源。
- 过度规范化可能会破坏有意义的变异——有意的非正式风格、语码转换或专有名词可能会被错误地改写。
来源中的条件不能替代独立的科学审查或分析引擎的验证。
优势
- 全面提升下游NLP质量——分词、词性标注、命名实体识别和情感分析都受益于干净、一致的输入。
- 灵活实现:简单的基于规则的查找表对于可预测的噪声效果良好,而神经序列到序列模型可以处理新颖或模糊的形式。
- 不需要对数据进行特殊的分布假设,使其适用于非常小的语料库(最少约10个文档)。
应用
- 在情感分析、主题建模或事件检测之前,预处理社交媒体语料库(推特、Reddit、Instagram)。
- 在信息抽取之前,清理数字化历史文献的OCR输出。
- 标准化短信和聊天记录文本,用于临床或社会学研究。
- 在将非正式用户生成评论输入分类器或摘要器之前,将其转换为干净文本。
使用方式
使用方式
在尝试任何纠正之前,会先对语料库的噪声特征进行描述。常见的噪声类型包括非正式缩写(例如,“lol”、“brb”)、基于语音或拼写错误的拼写错误、缩合词、表情符号、话题标签、URL和OCR伪影。识别存在的噪声类型决定了下游将激活哪些规范化规则或模型。
文本被分割成独立的词元——单词、标点符号、表情符号或其他单元——使用适合源通道的分词器。例如,推特分词器会将话题标签和提及保留为单个单元,而不是在“@”或“#”字符处进行分割。正确的分词至关重要,因为后续的规范化是逐词元操作的。
每个非标准词元都被映射到其规范形式。基于规则的方法使用手工制作的查找表或正则表达式模式;统计和神经方法(包括T5或BART等序列到序列模型)从训练数据中学习映射。选择取决于噪声类型、可用资源以及目标领域是否存在标注的规范化对。
规范化输出与目标语言词典进行比较,或在下游任务上进行评估,以衡量规范化效果。如果某些词元类型被系统性地错误纠正,则调整规则或模型权重。这种反馈循环可以防止过度规范化——将有意的俚语或命名实体转换为不正确的标准形式。
常见陷阱
- 跳过噪声类型识别并应用通用规范器:每种噪声类型都需要不同的处理,因此单一规则集很少能正确处理所有情况。
- 规范化品牌名称、话题标签或用户句柄等命名实体:这些通常应保留或单独处理,而不是强制转换为标准词典形式。
- 将规范化视为与语言无关:从非标准形式到标准形式的映射是特定于语言的,为一种语言构建的规范器会损坏另一种语言的文本。
- 仅根据词元级准确性进行评估,而不检查下游任务性能:规范器在孤立情况下可能看起来不错,但实际上会损害重要的指标。
常见问题
文本规范化与拼写检查相同吗?
拼写检查是其子集。规范化涵盖了更广泛的非标准形式——缩写、俚语、表情符号、缩合词和OCR伪影——这些是传统拼写检查器无法处理的。拼写检查器会将“recieve”标记为错误;规范器还会将“u”转换为“you”,将“gr8”转换为“great”。
我应该在分词之前还是之后进行规范化?
这两个步骤是相互作用的:应首先运行适合通道的分词器,以便表情符号、话题标签或URL等多字符词元在规范化映射它们之前作为单元保留。有些管道会交错这些步骤,但通常的惯例是首先使用适合源通道的分词器进行分词,然后逐词元进行规范化。
我如何选择基于规则的规范化和神经规范化?
当噪声可预测且可以构建查找表时,基于规则的方法速度快、透明且有效。神经序列到序列模型对未见形式的泛化能力更强,但需要标注的训练对和更多的计算。对于大多数标注预算有限的社交媒体预处理任务,混合方法——针对常见模式的规则,针对长尾的神经模型——效果最好。
文本规范化会损害命名实体识别吗?
如果命名实体被错误地改写,则可能会。将话题标签“#AppleEvent”转换为“apple event”的规范器会丢失NER模型所依赖的大小写和边界信息。最佳实践是在应用通用规范化规则之前检测并豁免命名实体(或先运行NER并保护这些跨度)。