Нормализация текста — Стандартизация зашумленного текста
- Тип
- NLP preprocessing pipeline
Этот текст переведён машинным способом и ещё не проверен. Читать оригинал на английском
Что он делает?
Нормализация текста — это конвейер предварительной обработки в области обработки естественного языка (NLP), который преобразует зашумленный, сокращенный или неправильно написанный текст — такой как SMS-сообщения, публикации в социальных сетях и результаты оптического распознавания символов (OCR) — в чистую, стандартизированную форму.
Это предварительный этап практически для любой последующей задачи NLP, гарантирующий, что несогласованные поверхностные формы не ухудшат токенизацию, разбор или классификацию. Метод получил систематическое академическое освещение благодаря Baldwin и Li (2015) и Sproat и Jaitly (2017).
Интуиция метода
Машина, обученная на чистом газетном тексте, не распознает 'gr8', 'u' или 'tmrw' как слова 'great', 'you' или 'tomorrow'. Прежде чем может произойти более глубокий анализ, необработанный зашумленный текст должен быть приведен к согласованной поверхностной форме. Нормализация текста делает именно это: она определяет, какой тип шума присутствует — сокращения, орфографические ошибки, сленг, эмодзи, специальные символы — и применяет целевые правила или обученные модели для преобразования каждого нестандартного токена в его канонический эквивалент, чтобы все последующие инструменты видели единообразный, предсказуемый словарь.
История
Систематическое изучение нормализации текста для пользовательского контента было стимулировано ростом Twitter и SMS как исследовательских корпусов в конце 2000-х годов. Baldwin и Li (2015) провели один из наиболее тщательных эмпирических анализов влияния стратегий нормализации на точность последующих задач NLP для текстов Twitter, установив эталоны, на которых строилась последующая работа. Параллельно Sproat и Jaitly (2017) сформулировали нормализацию текста как задачу обучения последовательность-в-последовательность и выпустили данные для соревнований, что способствовало внедрению нейронных подходов. Более ранние работы рассматривали нормализацию как задачу исправления орфографии или поиска по словарю; нейронная формулировка объединила эти направления и открыла путь к сквозным обучаемым конвейерам.
Когда применять
Нормализацию текста следует применять всякий раз, когда исходный текст содержит нестандартные токены, которые последующий конвейер NLP неправильно интерпретирует: типичными случаями являются данные из социальных сетей, корпуса SMS, исторические документы, оцифрованные с помощью OCR, и неформальные журналы чатов. Должны выполняться два предположения: тип шума должен быть идентифицируем заранее, и должен существовать целевой словарь или языковая модель для предполагаемой стандартной формы. Если текст уже чист и стандартен, нормализация не дает преимуществ и может привести к ошибкам из-за чрезмерной коррекции намеренных стилистических выборов.
Ограничения и замечания
- Требует предварительного знания типа шума: набор правил или модель, разработанные для сокращений SMS, могут плохо работать с ошибками OCR или специфическим для домена сленгом.
- Необходим целевой словарь или языковая модель для предполагаемой стандартной формы; языки с низким уровнем ресурсов могут не иметь этих ресурсов.
- Чрезмерная нормализация может уничтожить значимые вариации — намеренный неформальный стиль, переключение кодов или имена собственные могут быть некорректно переписаны.
Условия из источника не заменяют независимую научную проверку или валидацию аналитическим движком.
Сильные стороны
- Повышает качество последующих задач NLP в целом — токенизация, разметка частей речи, распознавание именованных сущностей и анализ тональности выигрывают от чистого, согласованного ввода.
- Гибкая реализация: простые таблицы поиска на основе правил хорошо работают для предсказуемого шума, в то время как нейронные модели последовательность-в-последовательность обрабатывают новые или неоднозначные формы.
- Не требует специальных предположений о распределении данных, что делает его применимым к очень малым корпусам (минимум ~10 документов).
Применение
- Предварительная обработка корпусов социальных сетей (Twitter, Reddit, Instagram) перед анализом тональности, моделированием тем или обнаружением событий.
- Очистка результатов OCR из оцифрованных исторических документов перед извлечением информации.
- Стандартизация текста SMS и журналов чатов для клинических или социологических исследований.
- Преобразование неформальных пользовательских отзывов в чистый текст перед подачей их в классификатор или суммаризатор.
Как это работает
Как это работает
Профиль шума корпуса характеризуется до попытки какого-либо исправления. Общие типы шума включают неформальные сокращения (например, 'lol', 'brb'), фонетические или основанные на опечатках написания, сокращения, эмодзи, хэштеги, URL-адреса и артефакты OCR. Определение присутствующих типов шума определяет, какие правила или модели нормализации будут активированы на последующих этапах.
Текст разбивается на отдельные токены — слова, знаки препинания, эмодзи или другие единицы — с использованием токенизатора, подходящего для исходного канала. Например, токенизатор для твитов сохраняет хэштеги и упоминания как единые единицы, а не разбивает их по символам '@' или '#'. Правильная токенизация важна, поскольку последующая нормализация работает по токенам.
Каждый нестандартный токен сопоставляется со своей канонической формой. Подходы, основанные на правилах, используют созданные вручную таблицы поиска или шаблоны регулярных выражений; статистические и нейронные подходы (включая модели последовательность-в-последовательность, такие как T5 или BART) изучают сопоставление на основе обучающих данных. Выбор зависит от типа шума, доступных ресурсов и наличия размеченных пар для нормализации в целевой области.
Нормализованный вывод сравнивается с целевым словарем языка или оценивается на последующей задаче для измерения влияния нормализации. Если определенные типы токенов систематически некорректно исправляются, правила или веса модели корректируются. Этот цикл обратной связи защищает от чрезмерной нормализации — преобразования намеренного сленга или именованных сущностей в некорректные стандартные формы.
Частые ошибки
- Пропуск идентификации типа шума и применение общего нормализатора: каждый тип шума требует разного подхода, поэтому один набор правил редко охватывает все случаи правильно.
- Нормализация именованных сущностей, таких как названия брендов, хэштеги или имена пользователей: их обычно следует сохранять или обрабатывать отдельно, а не принудительно преобразовывать в стандартные словарные формы.
- Рассмотрение нормализации как независимой от языка: сопоставление от нестандартной к стандартной форме является языково-специфичным, и нормализатор, созданный для одного языка, испортит текст на другом.
- Оценка только по точности на уровне токенов без проверки производительности последующих задач: нормализатор может выглядеть хорошо в изоляции, но на самом деле ухудшать метрику, которая имеет значение.
Часто задаваемые вопросы
Является ли нормализация текста тем же, что и проверка орфографии?
Проверка орфографии является подмножеством. Нормализация охватывает более широкий спектр нестандартных форм — сокращения, сленг, эмодзи, сокращения и артефакты OCR — которые обычный корректор орфографии не предназначен обрабатывать. Корректор орфографии помечает 'recieve' как неправильное; нормализатор также преобразует 'u' в 'you' и 'gr8' в 'great'.
Следует ли нормализовать до или после токенизации?
Эти два шага взаимодействуют: сначала должен быть запущен токенизатор, подходящий для канала, чтобы многосимвольные токены, такие как эмодзи, хэштеги или URL-адреса, сохранялись как единицы перед тем, как нормализация их сопоставит. Некоторые конвейеры чередуют шаги, но общепринятой практикой является сначала токенизация с помощью токенизатора, подходящего для исходного канала, а затем нормализация по токенам.
Как выбрать между нормализацией на основе правил и нейронной нормализацией?
Методы на основе правил быстры, прозрачны и эффективны, когда шум предсказуем и может быть построена таблица поиска. Нейронные модели последовательность-в-последовательность лучше обобщаются на невиданные формы, но требуют размеченных пар для обучения и больше вычислений. Для большинства задач предварительной обработки социальных сетей с ограниченным бюджетом на аннотацию наилучшим образом подходит гибридный подход — правила для частых шаблонов, нейронная модель для длинного хвоста.
Вредит ли нормализация текста распознаванию именованных сущностей?
Может, если именованные сущности некорректно переписаны. Нормализатор, который преобразует хэштег '#AppleEvent' в 'apple event', теряет информацию о регистре и границах, на которую полагается модель NER. Лучшая практика — обнаруживать и исключать именованные сущности (или сначала запускать NER и защищать эти участки) перед применением общих правил нормализации.
Похожие методы
Источники
Baldwin, T. & Li, Y. (2015). An In-depth Analysis of the Effect of Text Normalization in Twitter. NAACL-HLT 2015.
Открыть ссылку на публикациюСкопировано.Sproat, R. & Jaitly, N. (2017). RNN Approaches to Text Normalization: A Challenge. arXiv:1611.00068.
Открыть ссылку на публикациюСкопировано.