Skip to content
Назад к результатам поиска

Обработка естественного языка (NLP)

Тип
NLP text-comprehension task

Этот текст переведён машинным способом и ещё не проверен. Читать оригинал на английском

Размер шрифта

Что он делает?

Ответы на вопросы (QA) — это задача обработки естественного языка, которая автоматически отвечает на вопросы, сформулированные на естественном языке и основанные на заданном контекстном отрывке, используя либо экстрактивные, либо генеративные подходы.

Задача была кристаллизована бенчмарком SQuAD Раджпуркара и др. (2016), а более поздние модели, такие как XLNet (Янг и др., 2019), повысили точность понимания прочитанного.

Интуиция метода

Когда вы задаете вопрос, ответ обычно находится где-то в соответствующем тексте. Система ответов на вопросы читает этот контекстный отрывок вместе с вопросом и формирует ответ. Экстрактивная система находит и копирует точный фрагмент текста, который отвечает на вопрос, в то время как генеративная система пишет ответ своими словами. В любом случае модель привязана к предоставленному контексту, а не угадывает свободно.

История

Современные ответы на вопросы были переформированы выпуском SQuAD (Rajpurkar et al., 2016), большого набора данных для понимания прочитанного, содержащего более 100 000 вопросов, заданных к контекстным отрывкам, что дало области общий бенчмарк для машинного понимания. Последующие методы предварительного обучения, такие как XLNet (Yang et al., 2019), продвинули авторегрессионное языковое моделирование, лежащее в основе самых сильных QA-систем.

Когда применять

Ответы на вопросы подходят, когда у вас есть текстовые вопросы для ответов и контекстный отрывок, который, как ожидается, содержит эти ответы. Это подходит для разведочных и описательных работ с текстовыми данными и выигрывает от скромного набора примеров для тестирования. Модель, специфичная для предметной области, стоит использовать, когда текст специализирован. Без контекстного отрывка метод не имеет ничего для чтения, а общая модель на нишевой терминологии будет работать плохо.

Ограничения и замечания

  • Требует соответствующий контекстный отрывок; без контекста для чтения метод не может надежно отвечать.
  • Общая модель дает более низкую точность на специализированном тексте, чем модель, настроенная для этой области.
  • Качество зависит от того, насколько хорошо ответ фактически содержится в предоставленном отрывке и сформулирован в нем.

Условия из источника не заменяют независимую научную проверку или валидацию аналитическим движком.

Сильные стороны

  • Основывает ответы на предоставленном контекстном отрывке, а не на свободно плавающей генерации, сохраняя ответы прослеживаемыми до исходного текста.
  • Поддерживает как экстрактивные ответы — точные фрагменты, скопированные из текста — так и генеративные ответы, написанные на естественном языке.
  • Модели, специфичные для предметной области, могут быть встроены для повышения точности на специализированном материале без изменения общего конвейера.

Применение

  • Ответы на вопросы пользователей на основе документа или базы знаний.
  • Системы понимания прочитанного, которые извлекают точные фрагменты ответов из отрывков.
  • Инструменты поддержки клиентов и исследований, которые отвечают на запросы на естественном языке по текстовому корпусу.
  • Доступ к информации по техническим или специализированным документам с использованием настроенной модели.

Как это работает

Как это работает

1

Система принимает два входных данных: вопрос на естественном языке и контекстный отрывок, который, как предполагается, содержит ответ. Поскольку метод основан на предоставленном контексте, наличие соответствующего отрывка является предпосылкой для любого осмысленного ответа.

2

Вопрос и контекст считываются вместе языковой моделью, которая строит совместное представление, улавливая, как слова вопроса соотносятся со словами отрывка. Модель, специфичная для предметной области, точнее кодирует терминологию и обеспечивает более высокую точность на специализированном тексте.

3

Генерируется ответ. Экстрактивный подход предсказывает начало и конец фрагмента в контексте, который наилучшим образом отвечает на вопрос, и возвращает этот точный текст; генеративный подход пишет ответ в свободной форме, обусловленный вопросом и контекстом. Выходные данные — это ответ на естественном языке, привязанный к отрывку.

4

Предсказанные ответы оцениваются по сравнению с эталонными ответами — обычно с использованием метрик точного совпадения (exact-match) и F1 на бенчмарке, таком как SQuAD — и случаи сбоев анализируются перед развертыванием системы.

Частые ошибки

  • Предоставление контекстного отрывка, который на самом деле не содержит ответа, заставляет модель угадывать, выдавая уверенные, но неправильные ответы.
  • Применение общей модели к высокоспециализированной терминологии снижает точность; предпочтите модель, специфичную для предметной области, для нишевого текста.
  • Оценка экстрактивных и генеративных выходных данных по одной и той же мерке может ввести в заблуждение — экстрактивные ответы лучше всего оценивать с помощью метрик точного совпадения и F1 по сравнению с эталонным фрагментом.
  • Пропуск оценки скрывает систематические режимы сбоев; анализируйте неправильные ответы на бенчмарке перед тем, как доверять системе.

Часто задаваемые вопросы

Какова разница между экстрактивными и генеративными ответами на вопросы?

Экстрактивный подход находит и возвращает точный фрагмент текста в контексте, который отвечает на вопрос. Генеративный подход пишет ответ своими словами, обусловленный вопросом и контекстом. Экстрактивные ответы остаются дословными и легко оцениваются по сравнению с источником; генеративные ответы читаются более естественно, но могут отклоняться от отрывка.

Нужен ли мне всегда контекстный отрывок?

В этом методе — да. Система отвечает на основе предоставленного контекста, который, как предполагается, содержит ответ. Без соответствующего отрывка для чтения у модели нет ничего, на чем можно было бы основать свой ответ, и надежность резко падает.

Следует ли мне использовать модель, специфичную для предметной области?

Если ваш текст специализирован, модель, специфичная для предметной области, обеспечивает более высокую точность, чем общая модель, поскольку она точнее кодирует терминологию. Для общего текста обычно достаточно общей модели.

Как измеряется точность ответов на вопросы?

Предсказанные ответы сравниваются с эталонными ответами с использованием таких метрик, как точное совпадение (exact match) и F1, обычно на бенчмарке, таком как SQuAD. Анализ случаев сбоев наряду с этими показателями выявляет систематические слабости перед развертыванием.

Похожие методы

Источники

  1. Rajpurkar, P. et al. (2016). SQuAD: 100,000+ Questions for Machine Comprehension of Text. EMNLP.

    Открыть ссылку DOI
    Скопировано.
  2. Yang, Z. et al. (2019). XLNet: Generalized Autoregressive Pretraining for Language Understanding. NeurIPS.

    Открыть ссылку на публикацию
    Скопировано.