Дообученная классификация на основе BERT
- Автор метода
- Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (Google AI)
- Год
- 2019
- Тип
- Pre-trained transformer fine-tuned for classification
- Семейство
- Deep learning / NLP / CV
Этот текст переведён машинным способом и ещё не проверен. Читать оригинал на английском
Что он делает?
Дообученная классификация на основе BERT адаптирует предварительно обученный трансформер BERT к конкретной задаче классификации текстов путем добавления легкого выходного слоя и продолжения градиентного обучения на размеченных примерах.
Она стабильно достигает точности, близкой к передовой, в анализе тональности, категоризации тем, обнаружении намерений и других задачах классификации НЛП с относительно небольшими размеченными наборами данных.
Интуиция метода
BERT предварительно обучается на огромных объемах неразмеченного текста, изучая богатые контекстуальные представления языка. Дообучение перепрофилирует эти общие знания, присоединяя простую классификационную «голову» сверху и обучая всю модель — или только «голову» — на ваших размеченных примерах. Поскольку BERT уже понимает синтаксис, семантику и знания о мире, модели требуется гораздо меньше размеченных примеров, чем для обучения нейронного классификатора с нуля, и она быстрее сходится к более высокой точности. Токен [CLS] в его представлении дистиллирует сводку на уровне предложения, которую считывает классификатор.
История
BERT (Bidirectional Encoder Representations from Transformers) был представлен Google AI в 2019 году Devlin et al., опираясь на архитектуру Transformer Vaswani et al. (2017). Его задачи предварительного обучения на маскированном моделировании языка и предсказании следующего предложения позволили получить глубокие контекстуальные представления, превзошедшие предыдущие передовые результаты на одиннадцати бенчмарках НЛП одновременно. Дообучение BERT для классификации быстро стало доминирующей парадигмой в прикладных исследованиях НЛП, породив преемников, таких как RoBERTa, DistilBERT и ALBERT.
Когда применять
Используйте дообученную классификацию на основе BERT, когда у вас есть текстовые данные с размеченными категориями, и вам требуется высокая точность в таких задачах, как анализ тональности, обнаружение намерений, маркировка тем или сортировка документов. Она превосходно работает даже с несколькими сотнями или тысячами размеченных примеров, поскольку предварительное обучение обеспечивает богатое априорное знание. Предпочитайте ее традиционным классификаторам на основе мешка слов, когда контекстуальное значение имеет значение. Не используйте ее, когда вычислительные ресурсы сильно ограничены (инференс на ЦП медленный), когда текстовый домен радикально отличается от стандартного веб-текста и не существует чекпойнта, специфичного для домена, или когда полная интерпретируемость весов отдельных признаков требуется рецензентами или регуляторами.
Ограничения и замечания
- Высокие требования к памяти и вычислительным ресурсам как при дообучении, так и при инференсе; GPU фактически необходим для практической пропускной способности.
- Ограниченное контекстное окно (512 токенов для базового BERT); документы длиннее этого должны быть усечены или разделены.
- Внутренние механизмы модели остаются в значительной степени непрозрачными, что может противоречить нормативным требованиям или требованиям рецензентов к интерпретируемости.
- Риск катастрофического забывания, если скорость обучения слишком высока или обучение длится слишком долго.
- Производительность снижается на узкоспециализированных доменах (клинические заметки, юридические контракты), если не используется чекпойнт, соответствующий домену.
Условия из источника не заменяют независимую научную проверку или валидацию аналитическим движком.
Сильные стороны
- Достигает точности, близкой к передовой, на большинстве бенчмарков классификации текстов с ограниченными размеченными данными.
- Улавливает долгосрочное контекстуальное значение, которое упускают модели на основе мешка слов и TF-IDF.
- Трансферное обучение значительно сокращает объем размеченных данных и время обучения по сравнению с обучением с нуля.
- Широкая экосистема предварительно обученных чекпойнтов, специфичных для домена (медицинский, юридический, финансовый, многоязычный) через HuggingFace.
- Единый API для различных задач — один и тот же рецепт дообучения применяется к бинарным, многоклассовым и многомеченым настройкам.
- Встроенная субсловная токенизация изящно обрабатывает морфологически богатые языки, редкие слова и опечатки.
Применение
- Анализ тональности отзывов о продуктах, сообщений в социальных сетях и ответов на опросы.
- Обнаружение намерений и заполнение слотов в диалоговых системах и виртуальных помощниках.
- Маркировка тем и категорий для новостных статей, аннотаций или заявок в службу поддержки.
- Классификация клинических текстов, таких как определение степени срочности или присвоение кодов МКБ, с использованием специфичного для домена BioBERT.
- Обнаружение языка вражды и токсичности в конвейерах модерации контента.
- Классификация юридических документов и идентификация типов положений с использованием юридических вариантов BERT.
Как это работает
Как это работает
Загружается предварительно обученный чекпойнт BERT (например, bert-base-uncased или вариант, специфичный для домена) со всеми его трансформерными слоями, замороженными или размороженными. Токенизатор преобразует необработанный текст в субсловные токены WordPiece, добавляя в начало специальный токен [CLS], используемый как представление последовательности, и добавляет разделители [SEP].
Линейная классификационная «голова» отображает конечное скрытое состояние токена [CLS] в логиты по набору целевых классов. Функция потерь кросс-энтропии вычисляется между предсказанным распределением и истинными метками. Это единственный новый инициализированный блок весов; все остальное наследуется от предварительного обучения.
Формула
p(y|x) = \text{softmax}(W \cdot h_{[CLS]})Все параметры модели — или выбранный поднабор, такой как N верхних трансформерных слоев — обновляются совместно посредством обратного распространения ошибки с использованием небольшой скорости обучения (обычно от 2e-5 до 5e-5). Обучение длится два-четыре эпохи; большее количество эпох рискует катастрофическим забыванием предварительно обученных представлений.
Dropout (обычно 0.1), применяемый перед классификационной «головой», в сочетании с ранней остановкой или линейным разогревом скорости обучения с затуханием, защищает от переобучения. Наборы данных с несбалансированными классами выигрывают от взвешенной функции потерь или сверхвыборки миноритарного класса перед дообучением.
При инференсе токенизированный ввод пропускается через дообученную модель, а argmax выходного softmax выбирает предсказанный класс. Рекомендуется калибровка оценок уверенности, если последующие решения зависят от пороговых значений вероятности.
Формула
\hat{y} = \arg\max_k\, p(y=k|x)Частые ошибки
- Использование слишком высокой скорости обучения (выше 5e-5), что дестабилизирует предварительно обученные веса и снижает производительность.
- Дообучение в течение слишком большого количества эпох без ранней остановки, что приводит к катастрофическому забыванию предварительно обученных знаний языка.
- Игнорирование несбалансированности классов в функции потерь дообучения, что приводит к тому, что модель почти исключительно предсказывает мажоритарный класс.
- Усечение длинных документов до 512 токенов без учета того, какая часть текста несет наиболее релевантную информацию.
- Оценка только на обучающем распределении и отсутствие тестирования обобщающей способности на отложенном или внедоменном наборе.
Часто задаваемые вопросы
Сколько размеченных примеров мне нужно для эффективного дообучения BERT?
Дообучение BERT может хорошо работать с всего лишь несколькими сотнями примеров на класс для простых бинарных задач и обычно достигает высокой производительности с 1000–10000 размеченными экземплярами. Для сценариев с очень низким уровнем ресурсов подходы few-shot или на основе подсказок могут превзойти стандартное дообучение.
Следует ли мне дообучать все слои или только классификационную «голову»?
Совместное дообучение всех слоев обычно дает наилучшую точность при использовании небольшой скорости обучения (от 2e-5 до 5e-5). Замораживание большинства слоев и обучение только «головы» быстрее и безопаснее, когда размеченных данных очень мало, но обычно жертвует несколькими пунктами точности.
Как обрабатывать документы длиннее 512 токенов?
Распространенные стратегии включают усечение до первых 512 токенов (часто достаточно для признаков классификации в начале), скользящее окно поверх перекрывающихся фрагментов или иерархические кодировщики, которые агрегируют представления на уровне фрагментов. Лучший выбор зависит от того, где в ваших документах появляется контент, различающий классы.
Какой вариант BERT мне выбрать?
Начните с bert-base-uncased для общих англоязычных текстов. Используйте чекпойнт, специфичный для домена (например, BioBERT для биомедицинских текстов, LegalBERT для юридических), когда ваш текст существенно отличается от Википедии и BookCorpus. RoBERTa-base часто превосходит BERT на бенчмарках классификации и является сильной альтернативой.
Как сообщать результаты для публикации?
Сообщайте точность (precision), полноту (recall) и F1-меру (macro-F1) наряду с общей точностью (accuracy), особенно для несбалансированных наборов данных. Выполняйте дообучение с несколькими случайными начальными значениями (минимум тремя) и сообщайте среднее значение и стандартное отклонение, чтобы показать стабильность результатов. Включите оценку на отложенном тестовом наборе, который никогда не использовался для выбора гиперпараметров.
Похожие методы
Источники
Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. Proceedings of NAACL-HLT 2019, 4171–4186.
Открыть ссылку DOIСкопировано.Sun, C., Qiu, X., Xu, Y., & Huang, X. (2019). How to Fine-Tune BERT for Text Classification? Proceedings of CCL 2019, LNCS 11856, 194–206.
Открыть ссылку DOIСкопировано.