它有什么作用?
语言识别是一项自然语言处理任务,可自动检测文本是用哪种语言书写的。它基于现成的工具,如 langid.py (Lui & Baldwin, 2012) 和 Joulin 等人 (2017) 的高效分类器,广泛用于预处理和过滤多语言数据集。
方法背后的直觉
不同语言在其字母和单词模式中会留下特征性的“指纹”:土耳其语中出现的字符序列与英语或日语中的不同。语言识别无需人工阅读和识别每个文档,而是学习这些统计模式并将每段文本分配一个语言标签,从而可以自动按语言对多语言集合进行排序。
历史学
自动语言识别已发展成为可靠的现成工具,如 langid.py (Lui & Baldwin, 2012),这是一个涵盖多种语言的独立工具。Joulin 等人 (2017) 随后表明,简单高效的文本分类模型可以大规模执行此任务,这种方法通过 fastText 语言识别模型得到了普及。
何时使用
当您拥有语言未知或混合的文本数据,并且需要在进一步分析之前按语言对其进行排序或过滤时,请使用语言识别。每个文档应足够长——至少大约 20 个字符——以携带可靠的信号。它适用于必须按语言清理或路由的多语言语料库;如果您的所有文本已知已为一种语言,则此步骤是不必要的。
局限与注意事项
- 非常短的文本信号太少;长度小于约 20 个字符的文档不可靠。
- 文档内混合两种语言的“代码转换”确实很难正确标记。
- 在低资源语言和混合脚本的文本上准确性可能会下降。
来源中的条件不能替代独立的科学审查或分析引擎的验证。
优势
- 现成的工具可以快速部署,无需您自己的标记数据。
- 将未排序的多语言集合转换为干净的、带语言标签的子集,以供下游处理。
- 一种入门级的、低难度的、可扩展到大型语料库的方法。
应用
- 通过为每篇文档打上语言标签来预处理多语言数据集。
- 在进一步分析之前,将语料库过滤为仅保留目标语言的文档。
- 在社会科学、人文学科和商业研究中,将传入文本路由到特定语言的管道。
- 清理混合多种语言的网络抓取集合。
使用方式
使用方式
收集待分析的文本并检查其可用长度。非常短的片段信号太少,因此每个文档应至少有 20 个字符才能可靠地标记。
将每个文档转换为区分不同语言的统计信号——通常是字符 n-gram 模式,它捕捉字母在给定语言中倾向于如何相互跟随。这些模式是分类器读取的内容。
训练好的模型会根据为此任务构建的工具(如 langid.py 或 fastText 风格的分类器)为每个文档分配最可能的语言标签。输出是每段文本的预测语言。
预测的标签将在下游使用:多语言集合按语言排序,在进一步文本处理之前过滤掉不需要的语言的文档。这就是语言识别作为预处理步骤的价值所在。
常见陷阱
- 在非常短的片段上运行,并仍然信任标签——首先强制执行最小长度。
- 假设每篇文档只有一个标签,而文本在语言之间进行了代码转换;单个预测标签将具有误导性。
- 将预测的语言视为事实真相,而不进行抽样检查,尤其是在密切相关的语言之间。
常见问题
语言识别需要多少文本?
每篇文档应至少包含大约 20 个字符。较短的片段携带的统计信号太少,预测的语言会变得不可靠。
混合两种语言的文本会怎样?
代码转换是一个已知难题:当文档中出现两种语言时,返回单个标签的工具无法同时表示这两种语言,结果通常具有误导性。应分割或标记此类文本,而不是信任单个标签。
我需要标记的训练数据吗?
通常不需要。现成的工具,如 langid.py 和 fastText 风格的分类器,都预先在多种语言上进行了训练,因此您无需准备自己的标记集即可检测语言。
为什么要在其他文本分析之前进行语言识别?
大多数下游方法——分词器、词典、语言模型——都假定单一已知语言。首先识别和过滤语言可以使该假设有效,并防止为一种语言设计的工具应用于另一种语言。
相关方法
参考文献
Lui, M. & Baldwin, T. (2012). langid.py: An Off-the-shelf Language Identification Tool. Proceedings of the ACL 2012 System Demonstrations.
打开出版物文献已复制。Joulin, A., Grave, E., Bojanowski, P. & Mikolov, T. (2017). Bag of Tricks for Efficient Text Classification. Proceedings of the EACL 2017.
打开出版物文献已复制。