Skip to content
Назад к результатам поиска

Машинный перевод

Тип
NLP text-to-text generation task

Этот текст переведён машинным способом и ещё не проверен. Читать оригинал на английском

Размер шрифта

Что он делает?

Машинный перевод (МП) — это задача обработки естественного языка, которая автоматически преобразует текст с одного языка на другой.

Современный МП построен на нейронных моделях «последовательность-последовательность» — механизме внимания, представленном Bahdanau et al. (2015), и архитектуре трансформера Vaswani et al. (2017) — и расширяет доступ к источникам для многоязычного анализа данных и исследований.

Интуиция метода

Чтение материалов на незнакомом языке препятствует их использованию. Машинный перевод устраняет этот барьер: вместо пословного перевода модель читает все исходное предложение, строит внутреннее представление его значения, а затем записывает эквивалентное предложение на целевом языке, обращая внимание на наиболее релевантные исходные слова при создании каждого выходного слова.

История

Машинный перевод перешел от систем, основанных на правилах и статистических методах, к нейронным моделям. Bahdanau et al. (2015) представили механизм внимания, который позволяет модели совместно обучаться выравнивать и переводить, устраняя узкое место сжатия предложения в один фиксированный вектор. Vaswani et al. (2017) затем предложили трансформер, который полностью основан на внимании и стал основой современных систем перевода.

Когда применять

Используйте машинный перевод, когда у вас есть текст на исходном языке, и он нужен на другом языке, и доступна обученная модель для этой языковой пары. Это подходит для расширения доступа к источникам в многоязычном анализе данных и исследованиях. Для текста специализированной области ожидайте донастройки модели. Для перевода требуется хотя бы небольшой объем текста.

Ограничения и замечания

  • Требует наличия обученной модели для конкретной пары исходного и целевого языков.
  • Перевод в специализированной области может потребовать донастройки, прежде чем он станет достаточно точным.
  • Выходные данные все еще должны проверяться на соответствие и беглость; ошибки могут быть незаметными.

Условия из источника не заменяют независимую научную проверку или валидацию аналитическим движком.

Сильные стороны

  • Расширяет доступ к источникам, делая текст на других языках пригодным для анализа и исследований.
  • Нейронные модели внимания и трансформеры переводят целые предложения в контексте, а не пословно.
  • Масштабируется от коротких отрывков до больших многоязычных корпусов с помощью одной и той же модели.

Применение

  • Расширение доступа к неродным языковым источникам в многоязычных исследованиях.
  • Перевод документов и корпусов для межъязыкового анализа данных.
  • Подготовка иноязычного текста для последующих задач НЛП.
  • Поддержка донастроенного перевода для специализированных областей, таких как юридический, медицинский или технический текст.

Как это работает

Как это работает

1

Исходный текст токенизируется и подготавливается таким образом, чтобы модель могла его прочитать. Должна быть доступна обученная модель для пары исходного и целевого языков; для перевода в специализированной области может потребоваться донастройка модели на внутридоменном тексте, прежде чем она будет использоваться.

2

Модель читает исходное предложение и строит внутреннее представление его значения. Механизм внимания позволяет ей определять, какие позиции исходного текста выравнивать по мере работы, вместо того чтобы сжимать все в одно фиксированное резюме.

3

Предложение на целевом языке генерируется по одной единице за раз. При создании каждого выходного слова модель обращает внимание на наиболее релевантные части исходного текста, совместно обучаясь выравнивать и переводить так, чтобы значение сохранялось между языками.

4

Переведенный результат проверяется на соответствие исходному тексту и беглость на целевом языке. Анализируются специфические для предметной области ошибки, и донастройка пересматривается, если общая модель недостаточно точна для имеющегося материала.

Частые ошибки

  • Применение общей модели к тексту специализированной области без донастройки приводит к неточным переводам.
  • Использование модели, которая не охватывает требуемую языковую пару, дает непригодные для использования результаты.
  • Доверие к необработанным выходным данным без проверки соответствия и беглости может привести к распространению ошибок перевода в последующем анализе.

Часто задаваемые вопросы

Какой тип модели использует машинный перевод?

Современный МП использует нейронные модели «последовательность-последовательность». Механизм внимания (Bahdanau et al., 2015) позволяет модели выравнивать исходный и целевой текст по мере перевода, а архитектура трансформера (Vaswani et al., 2017), полностью основанная на внимании, лежит в основе современных систем.

Нужна ли мне модель для моей конкретной языковой пары?

Да. Должна быть доступна обученная модель для пары исходного и целевого языков. Без охвата этой пары система не сможет производить пригодные для использования переводы.

Почему качество перевода может быть низким в моих текстах?

Материалы специализированной области часто требуют донастройки. Общая модель может хорошо переводить повседневный язык, но испытывать трудности с терминологией предметной области, пока она не будет адаптирована на внутридоменном тексте.

Стоит ли доверять выходным данным напрямую?

Проверьте их. Переведенные выходные данные должны быть оценены на соответствие исходному тексту и беглость на целевом языке, прежде чем они будут использоваться для дальнейшего анализа, поскольку ошибки могут быть незаметными.

Похожие методы

Источники

  1. Bahdanau, D., Cho, K. & Bengio, Y. (2015). Neural Machine Translation by Jointly Learning to Align and Translate. International Conference on Learning Representations (ICLR).

    Открыть ссылку на публикацию
    Скопировано.
  2. Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, L. & Polosukhin, I. (2017). Attention Is All You Need. Advances in Neural Information Processing Systems (NeurIPS).

    Открыть ссылку на публикацию
    Скопировано.