它有什么作用?
跨语言文本分析允许您在共享向量空间中比较和分析用不同语言编写的文本。它以 Conneau 等人 (2020) 和 Pires 等人 (2019) 调查的多语言表征学习为基础,将多种语言的文档映射到一个共同的嵌入空间中,从而可以一起研究多语言语料库。
方法背后的直觉
当研究材料涉及多种语言时,含义相同的词汇存在于不同的词汇表中,因此在一个语言上训练的方法无法理解其他语言。这里的想法是将每种语言的文本投射到一个共享空间中,在这个空间中,无论文本是用何种语言编写的,相似的含义都会聚集在一起。一旦所有内容都处于这个共同空间中,您就可以跨语言测量相似性、聚类或比较文档,就好像它们说的是同一种语言一样。
历史学
跨语言分析源于多语言表征学习。Pires 等人 (2019) 研究了多语言 BERT 在跨语言泛化方面的表现,Conneau 等人 (2020) 表明无监督跨语言表征学习可以有效地扩展(XLM-R)。这些模型建立了共享的多语言向量空间,使跨语言比较变得实用。
何时使用
当您拥有多种语言的文本数据并且需要联合而非逐语言地比较或探索它们时,请使用跨语言分析。必须有一个多语言模型(mBERT、XLM-R)可用,并且预期有一个大约 30 篇或更多文档的工作语料库。它适用于文本、横断面或纵向数据的比较和探索目标;如果您的所有文本都只使用一种语言,那么单语言方法会更简单。
局限与注意事项
- 需要为所涉及的语言提供一个多语言模型,例如 mBERT 或 XLM-R。
- 语料库中的语言不平衡可能会扭曲共享空间并使分析产生偏差。
- 需要一个合理的语料库(大约 30 篇或更多文档)才能获得稳定的结果。
来源中的条件不能替代独立的科学审查或分析引擎的验证。
优势
- 将不同语言的文本置于一个共享空间中,因此无需翻译即可直接比较。
- 利用预训练的多语言转换器(mBERT、XLM-R),因此无需从头开始构建每个语言的模型。
- 支持单语言管道无法提供的真正的多语言比较和探索。
应用
- 比较一个主题在不同语言文档中的讨论方式。
- 在人文和社会科学研究中探索和聚类多语言语料库。
- 跨语言信息检索和相似性搜索。
- 在单一共享空间中研究多语言公共话语或文学。
使用方式
使用方式
将感兴趣的不同语言的文本收集到一个多语言语料库中。由于分析的成败取决于语言之间的平衡,因此此阶段还会评估每种语言贡献的材料量。
每个文档都使用多语言转换器模型进行编码,例如 mBERT 或 XLM-R,这些模型已在多种语言上进行预训练,因此可以在一个共享空间而不是每个语言单独的空间中生成向量。
所有语言生成的嵌入被汇集到一个共同的向量空间中,这样语义相似的段落无论来自哪种语言,都彼此靠近。这里需要注意语言不平衡问题,因为过度代表的语言可能会扭曲共享几何结构。
在共享空间中,文档可以跨语言进行比较、聚类或关联——测量相似性、对主题进行分组,或对比一个主题在每种语言中的表达方式,以进行真正的多语言研究。
常见陷阱
- 忽略语言不平衡——过度代表的语言可能会主导共享空间并扭曲比较;跟踪并考虑每种语言的贡献量。
- 使用一个实际上不涵盖语料库中某种语言的模型,这会导致这些文档的表示效果不佳。
- 将共享空间视为在所有语言对之间完美对齐;跨语言质量因语言而异,应进行检查。
常见问题
我应该使用哪个模型,mBERT 还是 XLM-R?
两者都是生成共享跨语言空间的多语言转换器。mBERT(多语言 BERT)是早期的一个此类模型,而 Conneau 等人 (2020) 引入的 XLM-R 则以更大的规模进行训练,通常能提供更强的跨语言性能。正确的选择取决于您的语料库中包含哪些语言以及每个模型对它们的覆盖程度。
我需要先翻译我的文本吗?
不需要。跨语言分析的目的是避免翻译:每个文档都直接通过多语言模型编码到共享空间中,因此不同语言的文本无需翻译步骤即可进行比较。
为什么语言平衡很重要?
如果一种语言在语料库中占主导地位,它可能会扭曲共享向量空间,并使比较偏向该语言。跟踪每种语言贡献的材料量并考虑不平衡,可以使分析在不同语言之间保持公平。
我需要多少文本?
预期需要一个大约 30 篇或更多文档的工作语料库;材料过少会导致共享空间分析不稳定。