Skip to content
Назад к результатам поиска

Классификация на основе RoBERTa

Автор метода
Liu, Y. et al. (Facebook AI Research / University of Washington)
Год
2019
Тип
Pre-trained transformer fine-tuned for sequence classification
Семейство
Deep learning / NLP / CV

Этот текст переведён машинным способом и ещё не проверен. Читать оригинал на английском

Размер шрифта

Что он делает?

Классификация на основе RoBERTa применяет предварительно обученный трансформер RoBERTa — обученный более устойчиво, чем BERT, с динамическим маскированием и большими пакетами данных — к задачам текстовой категоризации, добавляя легковесную классификационную "голову" поверх представления токена [CLS] и дообучая всю модель на размеченных примерах.

Она стабильно соответствует или превосходит BERT на стандартных бенчмарках NLP.

Интуиция метода

RoBERTa (Robustly Optimized BERT Pretraining Approach) начинается с глубокого двунаправленного трансформера, уже обученного на сотнях гигабайт текста, что обеспечивает ему богатое контекстуальное понимание языка. Для классификации нового текста поверх его специального суммирующего токена [CLS] помещается один линейный слой, и вся модель кратковременно обучается на размеченном наборе данных, специфичном для задачи. Поскольку RoBERTa исключает задачу предсказания следующего предложения, используемую в BERT, и обучается на большем объеме данных с динамическим маскированием, она создает более сильные представления, которые требуют меньше данных для дообучения для достижения высокой точности классификации.

История

RoBERTa была представлена Лю и соавт. из Facebook AI Research и Вашингтонского университета в 2019 году как критическое исследование репликации и оптимизации BERT. Авторы показали, что BERT был значительно недообучен и что удаление предсказания следующего предложения, использование динамического маскирования, обучение на больших пакетах с большим объемом данных и использование полных предложений без междокументного контекста привело к значительно более сильным представлениям, установив новые рекорды на GLUE, SQuAD и RACE на момент выпуска.

Когда применять

Отдавайте предпочтение классификации на основе RoBERTa, когда вам нужна современная точность в задачах классификации текста, таких как анализ настроений, тематическая разметка, определение намерений или обнаружение токсичного контента, и у вас есть по крайней мере несколько сотен размеченных обучающих примеров для каждого класса. Она превосходно улавливает тонкие семантические и синтаксические нюансы, которые упускают более простые модели "мешка слов" или неглубокие нейронные сети. Избегайте ее, когда вычислительные ресурсы ограничены (она требует дообучения на GPU и значительного объема памяти), когда текстовая область является узкоспециализированной без предметно-адаптивного предварительного обучения, или когда задача включает последовательности значительно длиннее 512 токенов без стратегий разбиения на фрагменты.

Ограничения и замечания

  • Максимальная длина входных данных в 512 токенов делает ее непригодной для длинных документов без стратегий разбиения на фрагменты или иерархических стратегий.
  • Дообучение требует ресурсов GPU и нетривиального времени обучения; инференс на CPU медленный для производственных нагрузок.
  • Большой размер модели (125M–355M параметров) может быть непрактичным для периферийных или низкоресурсных развертываний.
  • Производительность резко снижается в узкоспециализированных областях (клинической, юридической, научной), если не используется предметно-ориентированная контрольная точка RoBERTa.
  • Непрозрачные внутренние представления затрудняют причинно-следственную или механистическую интерпретацию без дополнительных инструментов XAI.

Условия из источника не заменяют независимую научную проверку или валидацию аналитическим движком.

Сильные стороны

  • Стабильно достигает почти современной точности на стандартных бенчмарках классификации NLP с минимальной инженерной работой, специфичной для задачи.
  • Двунаправленный контекст позволяет улавливать сложные зависимости между отдаленными словами, в отличие от однонаправленных моделей.
  • Динамическое маскирование во время предварительного обучения создает более устойчивые представления, чем статическое маскирование BERT.
  • Может быть эффективно дообучена на относительно небольших размеченных наборах данных (от нескольких сотен до нескольких тысяч примеров на класс).
  • Широкая экосистема предварительно обученных вариантов (roberta-base, roberta-large, предметно-ориентированные контрольные точки) доступна через HuggingFace.
  • Многоклассовая классификация проста путем замены softmax на sigmoid и корректировки функции потерь.

Применение

  • Анализ настроений и извлечение мнений в социальных сетях, обзорах и финансовых новостях.
  • Классификация тем и намерений для поддержки клиентов, маршрутизации чат-ботов и модерации контента.
  • Обнаружение токсичного языка и разжигания ненависти на онлайн-платформах.
  • Многоклассовая и многометочное категоризация документов в новостных, юридических и академических областях.
  • Классификация научных утверждений и проверка фактов в конвейерах исследований NLP.
  • Кодирование клинического текста и классификация медицинских записей с помощью предметно-адаптированных контрольных точек RoBERTa.

Как это работает

Как это работает

1

Входной текст разбивается на подсловные токены с использованием байт-парного кодирования (BPE). В начало добавляется специальный токен [CLS], а в конец — токен [SEP]. Полученная последовательность усекается или дополняется до фиксированной максимальной длины (обычно 512 токенов).

2

Последовательность токенов пропускается через многослойный двунаправленный трансформер-кодировщик RoBERTa. Каждый слой применяет многоголовое самовнимание и подслои прямой связи с остаточными соединениями, формируя богатое контекстно-зависимое представление для каждого токена. Конечное скрытое состояние токена [CLS] служит агрегированным представлением предложения.

Формула
\mathbf{h} = \text{RoBERTa}([\text{CLS}], x_1, \ldots, x_n)
3

Линейная классификационная "голова" — весовая матрица W и смещение b — применяется к представлению [CLS], за которой следует активация softmax (или sigmoid для многоклассовой классификации) для получения вероятностей классов.

Формула
\hat{y} = \text{softmax}(\mathbf{W} \cdot \mathbf{h}_{[\text{CLS}]} + \mathbf{b})
4

Все параметры модели — как предварительно обученные веса трансформера, так и новая классификационная "голова" — обновляются совместно с помощью градиентного спуска на размеченных примерах, специфичных для задачи, обычно в течение 3–10 эпох с небольшой скоростью обучения (от 1e-5 до 5e-5) и линейным планировщиком "разогрева" для предотвращения катастрофического забывания.

5

Во время инференса входной текст токенизируется, пропускается через дообученный кодировщик RoBERTa, и argmax выхода softmax дает предсказанный класс. Вероятности могут быть пороговыми для многоклассовой классификации или фильтрации на основе уверенности.

Частые ошибки

  • Использование того же разделения для валидации, что и для ранней остановки, без отдельного отложенного тестового набора, что завышает сообщаемую точность.
  • Забывание о работе с дисбалансом классов: дообучение на сильно перекошенных классах без взвешенных потерь или передискретизации приводит к моделям, которые предсказывают почти исключительно мажоритарный класс.
  • Установка слишком высокой скорости обучения (выше 5e-5) и катастрофическое забывание предварительно обученных представлений в течение первых нескольких шагов обучения.
  • Усечение длинных входных данных без учета того, находится ли релевантное содержимое в конце (например, ключевое предложение в юридическом документе), что приводит к систематической потере информации.
  • Сообщение только точности на несбалансированных наборах данных вместо макро-усредненных F1, точности, полноты и AUC.

Часто задаваемые вопросы

Чем RoBERTa отличается от BERT для классификации?

RoBERTa исключает задачу предсказания следующего предложения BERT, использует динамическое, а не статическое маскирование, обучается на в десять раз большем объеме данных с большими мини-пакетами и использует полные предложения, а не фрагменты документов. Эти изменения стабильно улучшают точность последующей классификации на 1–3 процентных пункта на стандартных бенчмарках.

Сколько размеченных данных мне нужно для дообучения RoBERTa?

RoBERTa может эффективно дообучаться на нескольких сотнях размеченных примеров на класс для бинарных или крупнозернистых задач, хотя для надежной многоклассовой производительности рекомендуется 1000 или более на класс. При меньшем количестве примеров рассмотрите маловыборочное подсказывание с генеративной моделью или аугментацию данных.

Стоит ли использовать roberta-base или roberta-large?

roberta-base (125M параметров) является практичной отправной точкой, которая обучается быстрее и занимает меньше памяти GPU. roberta-large (355M параметров) обычно добавляет 1–3 пункта точности ценой примерно в четыре раза больших вычислительных ресурсов и памяти. Используйте large, когда максимальная точность критична и ресурсы позволяют.

Что делать, если мои тексты длиннее 512 токенов?

Общие стратегии включают усечение до первых 512 токенов (хорошо работает, когда сигнал классификации находится в начале), скользящее окно с перекрывающимися фрагментами или иерархические модели, которые кодируют фрагменты с помощью RoBERTa и агрегируют с помощью второй модели.

Как справиться с дисбалансом классов?

Используйте взвешенную кросс-энтропийную функцию потерь, где вес каждого класса обратно пропорционален его частоте, или передискретизируйте миноритарный класс. Всегда оценивайте с помощью макро-усредненного F1, а не точности, чтобы обнаружить систематическое смещение в сторону мажоритарного класса.

Похожие методы

Источники

  1. Liu, Y., Ott, M., Goyal, N., Du, J., Joshi, M., Chen, D., Levy, O., Lewis, M., Zettlemoyer, L., & Stoyanov, V. (2019). RoBERTa: A Robustly Optimized BERT Pretraining Approach. arXiv preprint arXiv:1907.11692.

    Открыть ссылку на публикацию
    Скопировано.
  2. Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In Proceedings of NAACL-HLT 2019 (pp. 4171–4186). Association for Computational Linguistics.

    Открыть ссылку DOI
    Скопировано.