Skip to content
Назад к результатам поиска

Классификация текстов в условиях малого числа примеров (Few-Shot Text Classification)

Тип
NLP text-classification task (low-resource)

Этот текст переведён машинным способом и ещё не проверен. Читать оригинал на английском

Размер шрифта

Что он делает?

Классификация текстов в условиях малого числа примеров (few-shot text classification) — это задача присвоения документов к классам с использованием всего лишь нескольких размеченных примеров для каждого класса.

Опираясь на достижения Gao et al. (2021) и подход SetFit без явных запросов (prompt-free) от Tunstall et al. (2022), этот метод использует прототипические сети, MAML или дообучение (fine-tuning) большой предварительно обученной модели для обучения на основе ограниченного количества меток.

Интуиция метода

Большинству классификаторов требуется большой набор размеченных данных для обучения, однако разметка текстов является дорогостоящей, и иногда примеров для каждого класса существует очень мало. Классификация текстов в условиях малого числа примеров решает эту проблему, начиная с модели, которая уже понимает язык — большой предварительно обученной модели — и направляя ее к вашим классам всего лишь с несколькими примерами для каждого. Вместо обучения каждого класса с нуля, она сравнивает новые документы с небольшим набором размеченных прототипов или слегка адаптирует предварительно обученную модель, так что даже один пример на класс может направлять решение.

История

Классификация текстов в условиях малого числа примеров возникла из исследований в области обучения с малым числом примеров и мета-обучения, адаптированных к языку. Gao et al. (2021) показали, как сделать предварительно обученные языковые модели лучшими учениками с малым числом примеров, а Tunstall et al. (2022) представили SetFit для эффективного обучения с малым числом примеров без явных запросов (prompt-free), что сделало подход практичным с небольшими размеченными наборами и сильными предварительно обученными основами.

Когда применять

Используйте классификацию текстов в условиях малого числа примеров, когда у вас есть тексты для классификации, но лишь несколько размеченных примеров для каждого класса — значительно меньше, чем потребовалось бы обычному классификатору с учителем. Предполагается, что существует как минимум один пример для каждого класса, и метод работает лучше всего, когда доступна большая предварительно обученная модель для предоставления недостающих знаний. При наличии достаточного количества размеченных данных, обычный классификатор текстов с учителем является более простым выбором.

Ограничения и замечания

  • Требуется как минимум один размеченный пример для каждого класса; полностью новые классы предсказать невозможно.
  • Качество сильно зависит от предварительно обученной основы (backbone) — слабая или неподходящая модель ограничивает производительность.
  • При крайне малом количестве примеров предсказания могут быть нестабильными и чувствительными к выбору конкретных примеров.

Условия из источника не заменяют независимую научную проверку или валидацию аналитическим движком.

Сильные стороны

  • Обучается на очень малом количестве размеченных примеров — всего по одному на класс — там, где обычные классификаторы с учителем терпят неудачу.
  • Использует обширные языковые знания, содержащиеся в большой предварительно обученной модели, поэтому требуется мало специфичных для задачи данных.
  • Гибкость в выборе стратегий: прототипические сети, MAML или легкое дообучение (fine-tuning) — все они вписываются в один и тот же конвейер.

Применение

  • Классификация текстов, когда разметка данных является дорогостоящей, а для каждой категории доступно лишь несколько примеров.
  • Начальное обучение классификатора для новой предметной области или набора меток перед выполнением масштабной разметки.
  • Быстрое прототипирование классификации текстов в исследовательских и операционных условиях при нехватке размеченных данных.
  • Расширение существующей схемы новыми классами с ограниченным количеством размеченных примеров.

Как это работает

Как это работает

1

Вы собираете небольшой размеченный набор, содержащий как минимум один пример для каждого класса — иногда всего несколько примеров на класс. Это набор поддержки (support set), на котором обучается метод; чем он меньше, тем больше метод полагается на знания, уже содержащиеся в предварительно обученной модели.

2

В качестве основы (backbone) выбирается большая предварительно обученная модель, поскольку она уже содержит обширные знания о языке. Предпочтительна сильная предварительно обученная модель — чем больше она знает о языке изначально, тем меньше каждому классу нужно будет обучать на ваших немногочисленных примерах.

3

Основа направляется к вашим классам с использованием одной из стратегий для малого числа примеров: прототипические сети строят прототип класса на основе нескольких примеров и классифицируют по ближайшему прототипу; MAML мета-обучается начальным параметрам, которые быстро адаптируются; дообучение (fine-tuning) слегка обновляет предварительно обученную модель на небольшом наборе.

4

Каждый новый документ кодируется адаптированной моделью и получает метку класса — по ближайшему прототипу или по дообученной голове классификатора — в результате чего получается одна предсказанная метка для каждого документа, несмотря на скудные обучающие данные.

Частые ошибки

  • Рассматривать класс с нулевым количеством размеченных примеров как обучаемый — каждый класс должен иметь хотя бы один пример.
  • Сочетание метода с небольшой или плохо подобранной предварительно обученной моделью, что устраняет предварительные знания, на которые опирается режим малого числа примеров.
  • Чрезмерная оценка точности на основе крошечного набора поддержки; при таком малом количестве примеров оценки производительности являются шумными.

Часто задаваемые вопросы

Сколько примеров на класс действительно нужно?

Требуется как минимум один размеченный пример для каждого класса, и метод разработан для работы всего лишь с несколькими примерами на класс. Чем меньше вы предоставляете, тем больше он полагается на предварительные знания предварительно обученной основы.

Какую стратегию для малого числа примеров следует использовать?

Прототипические сети строят прототип для каждого класса на основе нескольких примеров и классифицируют по ближайшему прототипу; MAML мета-обучается параметрам, которые быстро адаптируются к новым задачам; дообучение (fine-tuning) слегка обновляет предварительно обученную модель на небольшом наборе. Все три стратегии вписываются в один и тот же конвейер; дообучение в стиле SetFit без явных запросов (prompt-free) является практичным выбором по умолчанию.

Почему предварительно обученная модель так важна?

При наличии всего лишь нескольких размеченных примеров большая часть знаний должна исходить из другого источника. Большая предварительно обученная модель обеспечивает широкое понимание языка, поэтому более сильная основа, как правило, дает лучшие результаты в условиях малого числа примеров.

Когда следует предпочесть обычный классификатор с учителем?

Когда у вас есть в изобилии размеченные данные. Методы для малого числа примеров существуют для режима с малым количеством меток; при наличии большого сбалансированного размеченного набора стандартный классификатор текстов с учителем является более простым и обычно более сильным.

Похожие методы

Источники

  1. Gao, T., Fisch, A. & Chen, D. (2021). Making Pre-trained Language Models Better Few-shot Learners. ACL.

    Открыть ссылку DOI
    Скопировано.
  2. Tunstall, L., Reimers, N., Jo, U.E.S., Bates, L., Korat, D., Wasserblat, M. & Pereg, O. (2022). Efficient Few-Shot Learning Without Prompts. arXiv.

    Открыть ссылку DOI
    Скопировано.