Классификация на основе дообученной модели RoBERTa
- Автор метода
- Liu, Y. et al. (Meta AI / University of Washington)
- Год
- 2019
- Тип
- Pretrained transformer fine-tuned for classification
- Семейство
- Deep learning / NLP / CV
Этот текст переведён машинным способом и ещё не проверен. Читать оригинал на английском
Что он делает?
Классификация на основе дообученной модели RoBERTa адаптирует предварительно обученную трансформерную модель RoBERTa — саму по себе являющуюся надежно переобученным вариантом BERT — для конкретной задачи классификации текстов путем добавления классификационной головы и продолжения обучения на размеченных примерах.
Она стабильно демонстрирует наилучшие или близкие к наилучшим результаты в задачах анализа тональности, классификации тем, обнаружения токсичности и аналогичных задачах обработки естественного языка (NLP).
Интуиция метода
Модель RoBERTa уже обработала огромные объемы текста и усвоила богатые контекстуальные представления языка. Дообучение перепрофилирует эти знания для конкретной задачи классификации: поверх модели добавляется небольшой классификационный слой, и вся модель обучается в течение нескольких эпох на ваших размеченных данных. Поскольку основная работа по пониманию языка была выполнена во время предварительного обучения, даже несколько сотен или тысяч размеченных примеров часто бывает достаточно для получения сильного классификатора. Результат превосходит более ранние методы NLP, поскольку каждый токен представлен в контексте всего предложения, а не только своего локального окна.
История
RoBERTa была представлена Лю и др. из Meta AI в 2019 году как исследование по воспроизведению и расширение BERT, показавшее, что BERT была значительно недообучена. Обучая дольше, на большем количестве данных, с большими пакетами, динамическим маскированием и без цели предсказания следующего предложения, RoBERTa превзошла BERT на бенчмарках GLUE и SuperGLUE. Ее дообучение для классификации быстро стало де-факто отправной точкой для практических задач классификации NLP как в исследованиях, так и в промышленности.
Когда применять
Выбирайте дообученную классификацию RoBERTa, когда у вас есть задача классификации текстов — анализ тональности, тем, намерений, токсичности, позиции или любая задача присвоения меток — и имеется как минимум несколько сотен размеченных примеров на класс, в идеале более тысячи. Она превосходно работает, когда важны лингвистические нюансы, дальний контекст или специфичная для домена фразеология. Используйте roberta-large, когда точность имеет первостепенное значение и позволяют вычислительные ресурсы; roberta-base, когда ресурсы GPU ограничены. Не используйте ее, когда требуется полностью интерпретируемая модель с явными весами признаков, когда ваш набор данных очень мал (менее ~100 размеченных примеров на класс) без аугментации, или когда ограничения по задержке исключают инференс трансформера.
Ограничения и замечания
- Вычислительно затратно: дообучение roberta-large требует GPU и значительного объема памяти, что ограничивает доступность.
- Максимальная длина входных данных 512 токенов означает, что очень длинные документы должны быть разбиты на части или суммированы перед классификацией.
- Природа «черного ящика» затрудняет объяснение прогнозов без пост-хок инструментов, таких как SHAP или LIME.
- Дообучение на очень малых размеченных наборах данных рискует переобучением, несмотря на предварительно обученную основу.
- Размер модели делает задержку при развертывании проблемой в системах реального времени без дистилляции или квантования.
Условия из источника не заменяют независимую научную проверку или валидацию аналитическим движком.
Сильные стороны
- Стабильно достигается наилучшая или близкая к наилучшей точность на стандартных бенчмарках классификации NLP.
- Захватывает полный двунаправленный контекст, обрабатывая отрицание, кореференцию и дальние зависимости, которые упускают более простые модели.
- Требуется значительно меньше размеченных данных, чем для обучения с нуля, благодаря богатым предварительно обученным представлениям языка.
- Специализированные чекпойнты (например, BioBERT, RoBERTa на основе FinBERT) дополнительно повышают производительность в специализированных областях.
- Библиотека Hugging Face Transformers делает реализацию простой с минимальным количеством шаблонного кода.
Применение
- Анализ тональности отзывов о продуктах, сообщений в социальных сетях и ответов на опросы.
- Обнаружение токсичности и языка вражды при модерации онлайн-контента.
- Категоризация тем новостей и классификация намерений в диалоговых системах.
- Классификация клинических записей и медицинское кодирование в медицинской информатике.
- Определение позиции и анализ аргументации в вычислительной социальной науке.
- Классификация юридических документов и маркировка пунктов договоров.
Как это работает
Как это работает
Загружается предварительно обученный чекпойнт RoBERTa (например, roberta-base или roberta-large из Hugging Face). RoBERTa была предварительно обучена с динамическим маскированием на гораздо большем корпусе и большее количество шагов, чем оригинальная BERT, что делает ее представления более надежными и обобщаемыми в различных доменах.
Входной текст токенизируется с использованием словарного запаса RoBERTa на основе байт-парного кодирования (BPE). Каждый пример предваряется специальным токеном [CLS] и усекается или дополняется до максимальной длины последовательности модели (обычно 512 токенов). Маски внимания указывают на реальные токены по сравнению с дополняющими.
Скрытое состояние токена [CLS], полученное последним трансформерным слоем, передается через линейную классификационную голову с активацией softmax (многоклассовая) или sigmoid (многометочновая) для получения вероятностей классов.
Формула
\hat{y} = \text{softmax}(W \cdot h_{\text{[CLS]}} + b)Вся модель — все трансформерные слои плюс классификационная голова — обучается end-to-end на размеченном наборе данных с использованием перекрестной энтропии в качестве функции потерь и малого темпа обучения (обычно от 1e-5 до 3e-5). Обычно достаточно нескольких эпох (2–5); более длительное обучение рискует катастрофическим забыванием предварительно полученных знаний.
Формула
\mathcal{L} = -\sum_{i} y_i \log \hat{y}_iПроизводительность оценивается на отложенном тестовом наборе с использованием точности (accuracy), macro-F1, а также точности (precision) и полноты (recall) на уровне классов. Для несбалансированных классов предпочтительнее macro-F1 и AUC-ROC, чем сырая точность. Прогнозы для бинарных задач порогово устанавливаются на 0.5, для многоклассовых — используется argmax.
Частые ошибки
- Использование слишком высокого темпа обучения (выше 5e-5), что разрушает предварительно полученные представления — явление, называемое катастрофическим забыванием.
- Оценка только по точности при несбалансированных классах, что маскирует низкую полноту для миноритарных категорий.
- Пропуск разделения на обучающую, валидационную и тестовую выборки и настройка гиперпараметров на тестовой выборке, что завышает сообщаемую производительность.
- Усечение всех текстов до 128 токенов для ускорения без проверки того, лежит ли дискриминативный контент в усеченной части.
- Забывание установить фиксированное начальное число генератора случайных чисел и не сообщать дисперсию между запусками, что делает результаты невоспроизводимыми.
Часто задаваемые вопросы
Чем дообученная RoBERTa отличается от дообученной BERT?
RoBERTa использует ту же трансформерную архитектуру, что и BERT, но была предварительно обучена с динамическим маскированием на большем корпусе (160 ГБ против 16 ГБ), большее количество шагов и без цели предсказания следующего предложения. Эти изменения дают более надежные представления, и дообученная RoBERTa стабильно превосходит BERT на большинстве бенчмарков классификации.
Сколько размеченных примеров мне нужно?
Сотни примеров на класс часто бывает достаточно для достижения разумных результатов, поскольку предварительно обученная модель уже понимает язык. При наличии менее чем примерно 100 примеров на класс рекомендуются стратегии few-shot prompting или аугментации данных для снижения риска переобучения.
Какой вариант RoBERTa мне следует использовать — base или large?
roberta-base (125 млн параметров) — это практический выбор по умолчанию: она быстро дообучается на одном GPU и часто показывает результаты, близкие к roberta-large. Используйте roberta-large (355 млн параметров), когда точность на бенчмарках является основной целью, а вычислительные ресурсы не являются узким местом.
Как обрабатывать тексты длиннее 512 токенов?
Распространенные стратегии включают усечение до наиболее информативного сегмента (часто начала и конца), разделение документа на перекрывающиеся части и агрегирование прогнозов, или использование иерархического подхода, где эмбеддинги предложений объединяются перед классификацией.
Как сделать прогнозы модели более интерпретируемыми?
Применяйте значения SHAP (через Explainer для трансформеров из библиотеки shap) или LIME для отнесения прогнозов к входным токенам или фрагментам. Веса внимания также могут выделять релевантные области текста, хотя сами по себе они не являются надежным показателем важности признаков.
Похожие методы
Источники
Liu, Y., Ott, M., Goyal, N., Du, J., Joshi, M., Chen, D., Levy, O., Lewis, M., Zettlemoyer, L., & Stoyanov, V. (2019). RoBERTa: A Robustly Optimized BERT Pretraining Approach. arXiv:1907.11692.
Открыть ссылку на публикациюСкопировано.Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. Proceedings of NAACL-HLT 2019, 4171–4186.
Открыть ссылку DOIСкопировано.