Проверка орфографии и грамматики — автоматическая корректура текста
- Автор метода
- Daniel Naber (rule-based checker); Peter Norvig (statistical spelling correction)
- Год
- 2003
- Тип
- Text-mining preprocessing / quality-assessment task
Этот текст переведён машинным способом и ещё не проверен. Читать оригинал на английском
Что он делает?
Проверка орфографии и грамматики — это задача интеллектуального анализа текстов, которая обнаруживает орфографические и грамматические ошибки в тексте и предлагает исправления.
Основываясь на основанном на правилах проверщике стиля и грамматики Naber (2003) и статистическом корректоре орфографии Norvig (2009), он используется для оценки качества данных и нормализации текста перед дальнейшим анализом.
Интуиция метода
Когда вы читаете текст, вы инстинктивно замечаете опечатанное слово или некорректное предложение и знаете, как его исправить. Автоматизированный проверщик имитирует эту оценку в масштабе: он сравнивает каждое слово со словарем или языковой моделью, чтобы отметить то, что выглядит неправильно, а затем предлагает наиболее вероятную замену. Вместо ручной корректуры корпуса вы позволяете конвейеру выявлять возможные ошибки и предлагать исправления для вашего подтверждения.
История
Автоматическая корректура имеет два взаимодополняющих корня. Naber (2003) формализовал основанный на правилах проверщик стиля и грамматики, который сопоставляет настраиваемые шаблоны с текстом — подход, который развился в широко используемые инструменты проверки грамматики. Norvig (2009) популяризировал компактный статистический корректор орфографии, который ранжирует возможные слова по вероятности и расстоянию редактирования. Вместе они формируют две основные стратегии поля — явные правила и вероятностные языковые модели.
Когда применять
Используйте проверку орфографии и грамматики, когда у вас есть текстовые данные и существует словарь или языковая модель для соответствующего языка. Она хорошо подходит для оценки качества данных и нормализации текста перед последующим анализом и работает на небольших корпусах (от десяти документов и выше). Предполагается наличие ресурса для целевого языка; производительность резко варьируется в зависимости от языка и ограничена для языков с низким уровнем ресурсов.
Ограничения и замечания
- Требует словарь или языковую модель для целевого языка.
- Ошибки, зависящие от контекста, не могут быть обнаружены методами на основе правил и требуют языковой модели.
- Производительность сильно варьируется в зависимости от языка и ограничена для языков с низким уровнем ресурсов.
Условия из источника не заменяют независимую научную проверку или валидацию аналитическим движком.
Сильные стороны
- Простой, вводный метод, который улучшает качество текста перед любым последующим анализом.
- Обнаруживает ошибки и предлагает конкретные исправления, а не только отмечает проблемы.
- Полезен как для оценки качества данных, так и для нормализации текста за один проход.
Применение
- Оценка качества текстового корпуса перед анализом.
- Нормализация полей свободных текстовых данных, чтобы последующий интеллектуальный анализ текстов получал более чистый ввод.
- Корректура документов, ответов на опросы или пользовательского контента в масштабе.
- Очистка зашумленных текстов, собранных для исследований в гуманитарных, социальных науках и бизнесе.
Как это работает
Как это работает
Текст разбивается на анализируемые единицы — слова, знаки препинания и предложения. Чистая токенизация позволяет проверщику анализировать каждое слово в отдельности и каждое предложение в контексте.
Каждый токен проверяется на наличие ошибок. Словарь или модель орфографии отмечают неузнанные слова, а шаблоны на основе правил выявляют грамматические ошибки, такие как проблемы согласования или порядка слов. Ошибки, зависящие от контекста, трудно поддаются методам на основе правил и могут потребовать языковой модели.
Для каждого отмеченного элемента проверщик предлагает исправления, ранжируя возможные замены по их вероятности — например, по расстоянию редактирования до известных слов или по тому, что языковая модель ожидает в данной позиции.
Отмеченные ошибки и предложенные исправления представляются для подтверждения, а принятые исправления применяются для получения нормализованного, более чистого текста. Этот этап с участием человека (human-in-the-loop) защищает от чрезмерной коррекции допустимых, но необычных формулировок.
Частые ошибки
- Ошибки, зависящие от контекста (правильно написанное, но неправильное слово), ускользают от проверщиков на основе правил; для их обнаружения требуется языковая модель.
- Применение проверщика, созданного для одного языка, к тексту на другом языке дает ненадежные результаты — сопоставьте словарь или модель с языком корпуса.
- Слепое принятие каждого предложения может привести к чрезмерной коррекции допустимых имен, жаргона или необычных, но намеренных формулировок.
- Ожидание сильных результатов на языке с низким уровнем ресурсов, где словари и модели редки.
Часто задаваемые вопросы
В чем разница между проверкой орфографии и проверкой грамматики?
Проверка орфографии сравнивает каждое слово со словарем или моделью орфографии и отмечает слова, которые она не распознает. Проверка грамматики анализирует структуру — согласование, порядок слов и подобные шаблоны — обычно с использованием правил или языковой модели. Эти две проверки дополняют друг друга и часто выполняются вместе.
Может ли проверщик на основе правил уловить каждую ошибку?
Нет. Методы на основе правил хорошо справляются с опечатками и ошибками грамматики по шаблонам, но ошибки, зависящие от контекста — правильно написанное слово, которое не подходит для предложения — требуют для обнаружения языковой модели.
Работает ли это для любого языка?
Только если для этого языка существует словарь или языковая модель, и ресурс должен соответствовать языку корпуса. Производительность резко варьируется в зависимости от языка и ограничена для языков с низким уровнем ресурсов.
Следует ли автоматически применять предложенные исправления?
Сначала просмотрите их. Автоматическое принятие может привести к чрезмерной коррекции допустимых имен, технических терминов или намеренно необычных формулировок, поэтому рекомендуется этап подтверждения с участием человека.
Похожие методы
Источники
Naber, D. (2003). A Rule-Based Style and Grammar Checker. Diploma Thesis.
Открыть ссылку на публикациюСкопировано.Norvig, P. (2009). How to Write a Spelling Corrector.
Открыть ссылку на публикациюСкопировано.