Нулевая классификация (Zero-Shot Classification) — Классификация текстов без обучающих данных
- Автор метода
- Yin, Hay & Roth
- Год
- 2019
- Тип
- NLP text-classification task
Этот текст переведён машинным способом и ещё не проверен. Читать оригинал на английском
Что он делает?
Нулевая классификация — это задача обработки естественного языка, которая присваивает текст категориям, описанным обычным языком, без необходимости в размеченных обучающих данных.
Формализованная как задача логического вывода (entailment problem) Инь, Хэй и Ротом (Yin, Hay and Roth, 2019), она позволяет большой предварительно обученной языковой модели распознавать новые категории «на лету», просто называя их, что обеспечивает быструю адаптацию к новым наборам меток.
Интуиция метода
Обычно классификатор должен увидеть множество размеченных примеров каждой категории, прежде чем сможет ее распознать. Нулевая классификация пропускает этот шаг: вы предоставляете названия категорий в виде обычных слов — например, «политика», «спорт», «наука» — и большая предварительно обученная языковая модель, которая уже понимает язык, оценивает, насколько каждая предлагаемая метка соответствует тексту. Поскольку модель обладает собственными обширными знаниями языка, вы можете мгновенно добавлять или изменять категории, не собирая и не размечая новые обучающие данные.
История
Нулевая классификация текстов была систематически протестирована и представлена как задача логического вывода текстов Инь, Хэй и Ротом (Yin, Hay and Roth, 2019), которые показали, что модель, обученная на выводе на естественном языке, может классифицировать текст по невиданным ранее категориям, рассматривая каждую метку как гипотезу. Более широкие возможности больших языковых моделей выполнять задачи, на которые они явно не обучались, были популяризированы Брауном и др. (Brown et al., 2020) в работе по обучению с малым числом примеров (few-shot learning) на примере GPT-3.
Когда применять
Нулевая классификация подходит, когда у вас есть текст для категоризации, но нет размеченных обучающих данных, и когда категории могут меняться или расширяться со временем. Она требует большой предварительно обученной языковой модели (например, моделей вывода на основе BART или RoBERTa) и четко определенных и непересекающихся предлагаемых меток. Она хорошо подходит для быстрого прототипирования и для сценариев, где сбор размеченных примеров для каждого класса непрактичен.
Ограничения и замечания
- Зависит от большой предварительно обученной языковой модели (BART, RoBERTa), что влечет за собой вычислительные затраты.
- Точность зависит от того, насколько четко и непересекающеся сформулированы предлагаемые метки.
- Без обучения под конкретную задачу может уступать по точности обученному классификатору при наличии достаточного количества размеченных данных.
Условия из источника не заменяют независимую научную проверку или валидацию аналитическим движком.
Сильные стороны
- Не требует размеченных обучающих данных — категории описываются обычным языком.
- Быстро адаптируется к новым категориям: добавление класса означает лишь добавление его названия в список предлагаемых меток.
- Использует обширные лингвистические знания, уже заложенные в большой предварительно обученной модели.
Применение
- Категоризация документов по наборам меток, которые часто меняются без переобучения.
- Быстрое прототипирование задач классификации до сбора каких-либо размеченных данных.
- Маршрутизация или тегирование входящего текста (по темам, намерениям) с использованием только названий категорий.
- Исследование новых категорий в текстовых корпусах исследований и операционных данных.
Как это работает
Как это работает
Вы описываете целевые категории как предлагаемые метки на естественном языке — короткие фразы, которые модель может прочитать напрямую. Эти метки должны быть четко сформулированы и не пересекаться, поскольку модель сравнивает текст с каждой меткой в том виде, в каком она написана; нечеткие или пересекающиеся метки размывают решение.
Текст и предлагаемые метки подаются в большую предварительно обученную языковую модель, такую как BART или RoBERTa. Обучение на ваших собственных данных не происходит — модель использует лингвистические знания, полученные во время предварительного обучения, для представления как документа, так и каждой предлагаемой метки.
Модель оценивает, насколько сильно каждая предлагаемая метка поддерживается текстом, рассматривая задачу как вывод на естественном языке: подразумевает ли текст гипотезу о том, что он принадлежит к этой метке? Каждая метка получает оценку совместимости от предварительно обученной модели.
Метка с наивысшей оценкой присваивается тексту (или ранжированный набор меток для многометочных сценариев). Поскольку оценка полностью основана на предварительно обученной модели, добавление новой категории так же просто, как добавление ее названия в список предлагаемых меток.
Частые ошибки
- Нечеткие или пересекающиеся предлагаемые метки размывают решения модели; четко определяйте каждую метку и избегайте их пересечения.
- Ожидать, что нулевая классификация будет столь же точной, как полностью обученный классификатор, при наличии большого количества размеченных данных — в этом случае вместо этого следует обучить supervised модель.
- Использование небольшой или общей модели вместо большой модели, способной к логическому выводу, снижает результаты.
- Формулирование меток на языке, который предварительно обученная модель плохо понимает, снижает надежность.
Часто задаваемые вопросы
Требует ли нулевая классификация каких-либо обучающих данных?
Нет. Это ее определяющая особенность: вы описываете категории как предлагаемые метки на естественном языке, а большая предварительно обученная модель оценивает соответствие, поэтому размеченные примеры не требуются.
На какую модель она полагается?
Она полагается на большую предварительно обученную языковую модель, обычно модель, обученную на логический вывод, такую как BART или RoBERTa. Качество результата сильно зависит от использования способной предварительно обученной модели, а не маленькой общей модели.
Как следует писать предлагаемые метки?
Определяйте их четко и избегайте пересечений. Модель сравнивает текст с каждой меткой в том виде, в каком она написана, поэтому нечеткие или пересекающиеся метки размывают решение и снижают точность.
Является ли она такой же точной, как supervised классификатор?
Не обязательно. Когда у вас есть достаточное количество размеченных данных, supervised классификатор, обученный на этих данных, может превзойти нулевую классификацию. Нулевая классификация сияет, когда размеченных данных мало или набор категорий постоянно меняется.
Похожие методы
Источники
Yin, W., Hay, J. & Roth, D. (2019). Benchmarking Zero-shot Text Classification: Datasets, Evaluation and Entailment Approach. EMNLP, 3914-3923.
Открыть ссылку DOIСкопировано.Brown, T. et al. (2020). Language Models are Few-Shot Learners. NeurIPS.
Открыть ссылку на публикациюСкопировано.