它有什么作用?
机器翻译(MT)是一种自然语言处理任务,可自动将一种语言的文本转换为另一种语言。现代机器翻译基于神经序列到序列模型——由 Bahdanau 等人(2015)引入的注意力机制以及 Vaswani 等人(2017)的 Transformer 架构——它拓宽了多语言数据分析和研究的来源获取途径。
方法背后的直觉
阅读你不懂的语言的材料会阻碍你使用它。机器翻译消除了这种障碍:模型不是逐字翻译,而是阅读整个源句子,构建其含义的内部表示,然后用目标语言写出等效的句子,在生成每个输出词时关注最相关的源词。
历史学
机器翻译从基于规则和统计的系统转向神经模型。Bahdanau 等人(2015)引入了注意力机制,使模型能够联合学习对齐和翻译,消除了将句子压缩成一个固定向量的瓶颈。Vaswani 等人(2017)随后提出了 Transformer,它完全依赖于注意力,并成为现代翻译系统的基础。
何时使用
当你拥有源语言文本并需要将其转换为另一种语言,且有针对该语言对的已训练模型可用时,请使用机器翻译。它适合拓宽多语言数据分析和研究的来源获取途径。对于专业领域的文本,请预期需要进行微调。至少需要少量文本才能进行翻译。
局限与注意事项
- 需要针对特定源语言和目标语言对的可用已训练模型。
- 专业领域的翻译可能需要预先微调才能足够准确。
- 输出仍需检查忠实度和流畅度;错误可能很微妙。
来源中的条件不能替代独立的科学审查或分析引擎的验证。
优势
- 通过使其他语言的文本可用于分析和研究,拓宽了来源获取途径。
- 神经注意力机制和 Transformer 模型以上下文方式翻译整个句子,而不是逐字翻译。
- 通过同一模型,可从短文本片段扩展到大型多语言语料库。
应用
- 拓宽多语言研究中对非母语来源的获取途径。
- 翻译文档和语料库以进行跨语言数据分析。
- 为法律、医疗或技术文本等专业领域提供微调翻译。
- 机器翻译使用哪种模型?
使用方式
使用方式
源文本被分词并准备好,以便模型可以读取它。必须提供针对源语言和目标语言对的已训练模型;对于专业领域的翻译,在使用前可能需要对模型进行领域内文本的微调。
模型读取源句子并构建其含义的内部表示。注意力机制允许它在工作时学习对齐哪些源位置,而不是将所有内容压缩成一个固定的摘要。
目标语言句子一次生成一个单元。在生成每个输出词时,模型会关注源文本中最相关的部分,联合学习对齐和翻译,以在语言之间保留含义。
翻译后的输出会检查其对源文本的忠实度和目标语言的流畅度。会检查领域特定的错误,当通用模型对于手头的材料不够准确时,会重新考虑微调。
常见陷阱
- 在未进行微调的情况下将通用模型应用于专业领域文本会产生不准确的翻译。
- 使用不涵盖所需语言对的模型会产生不可用的输出。
- 在检查忠实度和流畅度之前直接信任原始输出可能会将翻译错误传播到下游分析中。
常见问题
现代机器翻译使用神经序列到序列模型。注意力机制(Bahdanau 等人,2015)允许模型在翻译时对齐源语言和目标语言,而完全基于注意力的 Transformer 架构(Vaswani 等人,2017)是当前系统的基础。
我需要针对我的特定语言对的模型吗?
是的。必须提供针对源语言和目标语言对的已训练模型。没有该语言对的覆盖,系统就无法产生可用的翻译。
为什么我的文本翻译质量可能很差?
专业领域的材料通常需要微调。通用模型可能很好地翻译日常语言,但在适应了领域内文本之前,可能会在特定术语上遇到困难。
我应该直接信任输出吗?
请检查。在将翻译输出用于进一步分析之前,应评估其对源文本的忠实度和目标语言的流畅度,因为错误可能很微妙。
在 MethodMind 生态系统中直接对您自己的文本运行机器翻译——提供源文本,选择源语言和目标语言对,并获得可用于多语言分析的翻译输出。
相关方法
参考文献
Bahdanau, D., Cho, K. & Bengio, Y. (2015). Neural Machine Translation by Jointly Learning to Align and Translate. International Conference on Learning Representations (ICLR).
打开出版物文献已复制。Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, L. & Polosukhin, I. (2017). Attention Is All You Need. Advances in Neural Information Processing Systems (NeurIPS).
打开出版物文献已复制。