Обусловленность текста — Определение логического следования в естественном языке (NLI)
- Тип
- NLP sentence-pair classification task
Этот текст переведён машинным способом и ещё не проверен. Читать оригинал на английском
Что он делает?
Обусловленность текста, также известная как определение логического следования в естественном языке (NLI), представляет собой задачу обработки естественного языка, заключающуюся в определении того, следует ли из одного фрагмента текста (посылки) второй фрагмент текста (гипотезы), противоречит ли он ему, или же нейтрален по отношению к нему.
Формализованная в рамках конкурса PASCAL Recognising Textual Entailment Challenge (Dagan, Glickman & Magnini, 2006) и расширенная корпусом MultiNLI (Williams, Nangia & Bowman, 2018), она лежит в основе конвейеров ответов на вопросы и проверки фактов.
Интуиция метода
Два предложения могут находиться в различных логических отношениях: если вы принимаете первое, второе может автоматически следовать из него, явно противоречить ему или просто быть с ним не связанным. Обусловленность текста учит машину делать такое суждение — при заданных посылке и гипотезе она определяет, следует ли гипотеза из посылки, противоречит ли она ей, или же ни то, ни другое. Этот трехсторонний вердикт является строительным блоком для проверки того, поддерживается ли кандидатный ответ исходным текстом, или же утверждение подкреплено доказательствами.
История
Обусловленность текста была установлена как общая задача конкурсом PASCAL Recognising Textual Entailment Challenge (Dagan, Glickman & Magnini, 2006), который рассматривал распознавание следования как общую семантическую проблему, охватывающую приложения NLP. Корпус MultiNLI (Williams, Nangia & Bowman, 2018) позже предоставил широкоохватные, многожанровые обучающие данные, что позволило создать большие предобученные NLI-модели, которые сегодня используются в системах ответов на вопросы и проверки фактов.
Когда применять
Используйте обусловленность текста, когда ваши данные состоят из пар текстов «посылка — гипотеза», и вам нужно оценить логическое отношение между ними — обычно в рамках цепочки ответов на вопросы или проверки фактов. Задача требует наличия как минимум нескольких десятков пар и лучше всего работает с большой предобученной языковой моделью, доступной для целевого языка. Если у вас есть только изолированные документы, а не парные тексты, эта задача неприменима.
Ограничения и замечания
- Требует организации текста в виде пар «посылка — гипотеза»; изолированные документы недостаточны.
- Качество сильно зависит от доступности и языкового охвата большой предобученной языковой модели.
- Тонкие или специфичные для предметной области выводы остаются сложными, а нейтральный класс часто является наиболее подверженным ошибкам.
Условия из источника не заменяют независимую научную проверку или валидацию аналитическим движком.
Сильные стороны
- Предоставляет принципиальный трехсторонний вердикт (следование / противоречие / нейтральность) вместо единой оценки сходства.
- Напрямую поддерживает последующие конвейеры ответов на вопросы и проверки фактов.
- Может выполняться в режиме zero-shot с большой предобученной NLI-моделью, без размеченных обучающих данных для конкретной задачи.
Применение
- Ответы на вопросы — проверка того, следует ли кандидатный ответ из исходного отрывка.
- Проверка фактов — определение того, подтверждается ли утверждение текстом доказательства или противоречит ему.
- Проверка согласованности информации в документах и резюме.
- Служит базовым механизмом для классификации текстов в режиме zero-shot посредством определения следования по кандидатным меткам.
Как это работает
Как это работает
Входные данные организованы в пары «посылка — гипотеза». Каждый пример сочетает текст посылки с текстом гипотезы, отношение которой к посылке должно быть оценено; в задачах ответов на вопросы и проверки фактов эти пары формируются из исходного отрывка и кандидатного утверждения или ответа.
Большая предобученная языковая модель считывает пару и преобразует ее в контекстное представление, которое улавливает смысл посылки и гипотезы вместе. Поскольку задача зависит от тонких логических отношений, сильная предобученная модель предпочтительнее моделей, построенных вручную.
Модель присваивает паре одну из трех меток — следование, противоречие или нейтральность. Распространенная практическая реализация рассматривает посылку как кандидатную метку и запускает классификатор следования в режиме zero-shot (например, модель BART, дообученная на MNLI) для оценки отношения.
Предсказания оцениваются по размеченным парам с использованием метрик точности и метрик для каждого класса, а разногласия инспектируются перед развертыванием. Поскольку три класса могут быть неравномерно распределены, точность и полнота для каждого класса имеют такое же значение, как и общая точность.
Частые ошибки
- Путаница следования с простым поверхностным сходством — два предложения могут содержать одинаковые слова, но противоречить друг другу.
- Применение модели, предобученной для одного языка или предметной области, к другому ухудшает качество оценки логического следования.
- Отчетность только об общей точности при несбалансированных классах; инспекция точности и полноты для каждого класса.
- Выполнение задачи на менее чем рекомендуемых ~30 парах, что делает любую оценку ненадежной.
Часто задаваемые вопросы
В чем разница между следованием, противоречием и нейтральностью?
При заданной посылке гипотеза маркируется как «следование», если принятие посылки означает, что гипотеза верна; «противоречие», если гипотеза не может быть истинной при истинности посылки; и «нейтральность», когда ни то, ни другое не выполняется — посылка ни поддерживает, ни исключает гипотезу.
Чем обусловленность текста отличается от сходства предложений?
Сходство измеряет, насколько похожи два предложения, что является симметричным и градуированным отношением. Следование — это направленное, логическое отношение: посылка может влечь гипотезу, но не наоборот, и два очень похожих предложения могут противоречить друг другу.
Нужны ли мне размеченные обучающие данные?
Не обязательно. С большой предобученной NLI-моделью вы можете выполнять задачу в режиме zero-shot — например, рассматривая посылку как кандидатную метку и оценивая гипотезу — хотя небольшой размеченный набор пар «посылка — гипотеза» помогает при оценке и адаптации к предметной области.
Почему это используется для проверки фактов и ответов на вопросы?
Обе задачи сводятся к проверке того, подтверждается ли фрагмент текста источником. Следование дает именно такую оценку, поэтому утверждение или кандидатный ответ могут быть приняты, когда источник влечет их, и отклонены, когда источник противоречит им.
Похожие методы
Источники
Dagan, I., Glickman, O. & Magnini, B. (2006). The PASCAL Recognising Textual Entailment Challenge.
Открыть ссылку на публикациюСкопировано.Williams, A., Nangia, N. & Bowman, S. (2018). A Broad-Coverage Challenge Corpus for Sentence Understanding through Inference. NAACL.
Открыть ссылку на публикациюСкопировано.