Идентификация языка (LID)
- Тип
- NLP text-classification task
Этот текст переведён машинным способом и ещё не проверен. Читать оригинал на английском
Что он делает?
Идентификация языка — это задача обработки естественного языка, которая автоматически определяет, на каком языке написан фрагмент текста.
Опираясь на готовые инструменты, такие как langid.py (Lui & Baldwin, 2012) и эффективные классификаторы Joulin et al. (2017), она широко используется для предварительной обработки и фильтрации многоязычных наборов данных.
Интуиция метода
Разные языки оставляют характерные отпечатки в своих буквенных и словесных закономерностях: последовательности символов, встречающиеся в турецком языке, отличаются от таковых в английском или японском. Вместо того чтобы требовать от человека чтения и распознавания каждого документа, идентификация языка изучает эти статистические закономерности и присваивает каждому тексту метку языка, позволяя автоматически сортировать многоязычную коллекцию по языкам.
История
Автоматическая идентификация языка развилась в надежные, готовые инструменты с langid.py (Lui & Baldwin, 2012) — автономный инструмент, охватывающий множество языков. Joulin et al. (2017) затем показали, что простые, эффективные модели классификации текста могут выполнять эту задачу в очень большом масштабе, подход, популяризированный моделями идентификации языка fastText.
Когда применять
Используйте идентификацию языка, когда у вас есть текстовые данные неизвестного или смешанного языка, и вам нужно отсортировать или отфильтровать их по языку перед дальнейшим анализом. Каждый документ должен быть достаточно длинным — не менее примерно 20 символов — чтобы нести надежный сигнал. Это подходит для многоязычных корпусов, которые необходимо очистить или направить по языковому признаку; если весь ваш текст уже известен и находится на одном языке, этот шаг не требуется.
Ограничения и замечания
- Очень короткие тексты несут слишком мало сигнала; документы короче примерно 20 символов ненадежны.
- Переключение кодов — смешивание двух языков в одном документе — действительно трудно маркировать правильно.
- Точность может снижаться для языков с низким уровнем ресурсов и для текста, смешивающего разные письменности.
Условия из источника не заменяют независимую научную проверку или валидацию аналитическим движком.
Сильные стороны
- Готовые инструменты позволяют быстро развернуть систему без собственных размеченных данных.
- Превращает несортированную многоязычную коллекцию в чистые, размеченные по языку подмножества, готовые к дальнейшей обработке.
- Вводный метод низкой сложности, который масштабируется до больших корпусов.
Применение
- Предварительная обработка многоязычных наборов данных путем маркировки каждого документа его языком.
- Фильтрация корпуса для сохранения только документов на целевом языке перед дальнейшим анализом.
- Маршрутизация входящего текста в языково-специфические конвейеры в социальных науках, гуманитарных науках и бизнесе.
- Очистка коллекций, собранных путем веб-скрейпинга, которые смешивают множество языков.
Как это работает
Как это работает
Собирается текст для анализа и проверяется на пригодность по длине. Очень короткие фрагменты несут слишком мало сигнала, поэтому каждый документ должен быть не менее чем около 20 символов, прежде чем его можно будет надежно маркировать.
Каждый документ преобразуется в статистический сигнал, отличающий один язык от другого — как правило, это n-граммные шаблоны символов, которые отражают, как буквы имеют тенденцию следовать друг за другом в данном языке. Эти шаблоны — то, что читает классификатор.
Обученная модель присваивает наиболее вероятную метку языка каждому документу, используя инструменты, созданные для этой задачи, такие как langid.py или классификаторы в стиле fastText. Результатом является предсказанный язык для каждого текста.
Предсказанные метки используются далее: многоязычная коллекция сортируется по языкам, а документы на нежелательных языках отфильтровываются перед дальнейшей обработкой текста. Именно здесь идентификация языка занимает свое место как этап предварительной обработки.
Частые ошибки
- Запуск на очень коротких фрагментах с доверием к метке в любом случае — сначала установите минимальную длину.
- Предположение одной метки на документ, когда текст представляет собой переключение кодов между языками; предсказанная единственная метка будет вводить в заблуждение.
- Рассмотрение предсказанного языка как истинного без выборочной проверки, особенно для близкородственных языков.
Часто задаваемые вопросы
Сколько текста нужно для идентификации языка?
Каждый документ должен содержать не менее 20 символов. Более короткие фрагменты несут слишком мало статистического сигнала, и предсказанный язык становится ненадежным.
Что происходит с текстом, смешивающим два языка?
Переключение кодов — известная трудность: когда два языка появляются в одном документе, инструмент, возвращающий одну метку, не может представить оба, и результат часто вводит в заблуждение. Сегментируйте или помечайте такие тексты, а не доверяйте одной метке.
Нужны ли мне размеченные обучающие данные?
Обычно нет. Готовые инструменты, такие как langid.py и классификаторы в стиле fastText, поставляются с предварительно обученными моделями для многих языков, поэтому вы можете определять язык, не подготавливая собственный размеченный набор.
Зачем идентифицировать язык перед другим текстовым анализом?
Большинство последующих методов — токенизаторы, лексиконы, языковые модели — предполагают один известный язык. Идентификация и фильтрация по языку сначала сохраняет это предположение действительным и предотвращает применение инструментов, созданных для одного языка, к другому.
Похожие методы
Источники
Lui, M. & Baldwin, T. (2012). langid.py: An Off-the-shelf Language Identification Tool. Proceedings of the ACL 2012 System Demonstrations.
Открыть ссылку на публикациюСкопировано.Joulin, A., Grave, E., Bojanowski, P. & Mikolov, T. (2017). Bag of Tricks for Efficient Text Classification. Proceedings of the EACL 2017.
Открыть ссылку на публикациюСкопировано.