Skip to content
Назад к результатам поиска

Проверка орфографии и грамматики — автоматическая корректура текста

Автор метода
Daniel Naber (rule-based checker); Peter Norvig (statistical spelling correction)
Год
2003
Тип
Text-mining preprocessing / quality-assessment task

Этот текст переведён машинным способом и ещё не проверен. Читать оригинал на английском

Размер шрифта

Что он делает?

Проверка орфографии и грамматики — это задача интеллектуального анализа текстов, которая обнаруживает орфографические и грамматические ошибки в тексте и предлагает исправления.

Основываясь на основанном на правилах проверщике стиля и грамматики Naber (2003) и статистическом корректоре орфографии Norvig (2009), он используется для оценки качества данных и нормализации текста перед дальнейшим анализом.

Интуиция метода

Когда вы читаете текст, вы инстинктивно замечаете опечатанное слово или некорректное предложение и знаете, как его исправить. Автоматизированный проверщик имитирует эту оценку в масштабе: он сравнивает каждое слово со словарем или языковой моделью, чтобы отметить то, что выглядит неправильно, а затем предлагает наиболее вероятную замену. Вместо ручной корректуры корпуса вы позволяете конвейеру выявлять возможные ошибки и предлагать исправления для вашего подтверждения.

История

Автоматическая корректура имеет два взаимодополняющих корня. Naber (2003) формализовал основанный на правилах проверщик стиля и грамматики, который сопоставляет настраиваемые шаблоны с текстом — подход, который развился в широко используемые инструменты проверки грамматики. Norvig (2009) популяризировал компактный статистический корректор орфографии, который ранжирует возможные слова по вероятности и расстоянию редактирования. Вместе они формируют две основные стратегии поля — явные правила и вероятностные языковые модели.

Когда применять

Используйте проверку орфографии и грамматики, когда у вас есть текстовые данные и существует словарь или языковая модель для соответствующего языка. Она хорошо подходит для оценки качества данных и нормализации текста перед последующим анализом и работает на небольших корпусах (от десяти документов и выше). Предполагается наличие ресурса для целевого языка; производительность резко варьируется в зависимости от языка и ограничена для языков с низким уровнем ресурсов.

Ограничения и замечания

  • Требует словарь или языковую модель для целевого языка.
  • Ошибки, зависящие от контекста, не могут быть обнаружены методами на основе правил и требуют языковой модели.
  • Производительность сильно варьируется в зависимости от языка и ограничена для языков с низким уровнем ресурсов.

Условия из источника не заменяют независимую научную проверку или валидацию аналитическим движком.

Сильные стороны

  • Простой, вводный метод, который улучшает качество текста перед любым последующим анализом.
  • Обнаруживает ошибки и предлагает конкретные исправления, а не только отмечает проблемы.
  • Полезен как для оценки качества данных, так и для нормализации текста за один проход.

Применение

  • Оценка качества текстового корпуса перед анализом.
  • Нормализация полей свободных текстовых данных, чтобы последующий интеллектуальный анализ текстов получал более чистый ввод.
  • Корректура документов, ответов на опросы или пользовательского контента в масштабе.
  • Очистка зашумленных текстов, собранных для исследований в гуманитарных, социальных науках и бизнесе.

Как это работает

Как это работает

1

Текст разбивается на анализируемые единицы — слова, знаки препинания и предложения. Чистая токенизация позволяет проверщику анализировать каждое слово в отдельности и каждое предложение в контексте.

2

Каждый токен проверяется на наличие ошибок. Словарь или модель орфографии отмечают неузнанные слова, а шаблоны на основе правил выявляют грамматические ошибки, такие как проблемы согласования или порядка слов. Ошибки, зависящие от контекста, трудно поддаются методам на основе правил и могут потребовать языковой модели.

3

Для каждого отмеченного элемента проверщик предлагает исправления, ранжируя возможные замены по их вероятности — например, по расстоянию редактирования до известных слов или по тому, что языковая модель ожидает в данной позиции.

4

Отмеченные ошибки и предложенные исправления представляются для подтверждения, а принятые исправления применяются для получения нормализованного, более чистого текста. Этот этап с участием человека (human-in-the-loop) защищает от чрезмерной коррекции допустимых, но необычных формулировок.

Частые ошибки

  • Ошибки, зависящие от контекста (правильно написанное, но неправильное слово), ускользают от проверщиков на основе правил; для их обнаружения требуется языковая модель.
  • Применение проверщика, созданного для одного языка, к тексту на другом языке дает ненадежные результаты — сопоставьте словарь или модель с языком корпуса.
  • Слепое принятие каждого предложения может привести к чрезмерной коррекции допустимых имен, жаргона или необычных, но намеренных формулировок.
  • Ожидание сильных результатов на языке с низким уровнем ресурсов, где словари и модели редки.

Часто задаваемые вопросы

В чем разница между проверкой орфографии и проверкой грамматики?

Проверка орфографии сравнивает каждое слово со словарем или моделью орфографии и отмечает слова, которые она не распознает. Проверка грамматики анализирует структуру — согласование, порядок слов и подобные шаблоны — обычно с использованием правил или языковой модели. Эти две проверки дополняют друг друга и часто выполняются вместе.

Может ли проверщик на основе правил уловить каждую ошибку?

Нет. Методы на основе правил хорошо справляются с опечатками и ошибками грамматики по шаблонам, но ошибки, зависящие от контекста — правильно написанное слово, которое не подходит для предложения — требуют для обнаружения языковой модели.

Работает ли это для любого языка?

Только если для этого языка существует словарь или языковая модель, и ресурс должен соответствовать языку корпуса. Производительность резко варьируется в зависимости от языка и ограничена для языков с низким уровнем ресурсов.

Следует ли автоматически применять предложенные исправления?

Сначала просмотрите их. Автоматическое принятие может привести к чрезмерной коррекции допустимых имен, технических терминов или намеренно необычных формулировок, поэтому рекомендуется этап подтверждения с участием человека.

Похожие методы

Источники

  1. Naber, D. (2003). A Rule-Based Style and Grammar Checker. Diploma Thesis.

    Открыть ссылку на публикацию
    Скопировано.
  2. Norvig, P. (2009). How to Write a Spelling Corrector.

    Открыть ссылку на публикацию
    Скопировано.