Дообученный Трансформер
- Автор метода
- Vaswani et al. (architecture); fine-tuning paradigm popularised by Howard & Ruder, Devlin et al.
- Год
- 2017–2019
- Тип
- Transfer learning / supervised fine-tuning
- Семейство
- Deep learning / NLP / CV
Этот текст переведён машинным способом и ещё не проверен. Читать оригинал на английском
Что он делает?
Дообучение Трансформера адаптирует большую предварительно обученную модель — такую как BERT, GPT или ViT — для конкретной последующей задачи путем продолжения градиентного обучения на размеченном целевом наборе данных.
Эта двухэтапная парадигма (предварительное обучение, затем дообучение) последовательно достигает наилучших результатов в задачах обработки естественного языка и компьютерного зрения с гораздо меньшим количеством данных, специфичных для задачи, чем обучение с нуля.
Интуиция метода
Предварительно обученный Трансформер уже усвоил богатые представления языка или изображений из огромных корпусов. Дообучение похоже на наем эксперта, который уже глубоко знает предметную область, и обучение его вашей конкретной работе. Вместо того чтобы переписывать все их знания с нуля, вы добавляете небольшую выходную головку для вашей задачи и обновляете всю сеть с низкой скоростью обучения на ваших размеченных примерах. Предварительно обученные веса обеспечивают теплую, мощную отправную точку, поэтому даже несколько сотен размеченных примеров могут дать сильную производительность — чего невозможно достичь при обучении с нуля.
История
Архитектура Трансформер была представлена Васуани и др. в 2017 году, заменив рекуррентные сети механизмами самовнимания. Ховард и Рудер (2018) формализовали дообучение языковых моделей с помощью ULMFiT, а Девлин и др. (2019) масштабировали его до BERT, продемонстрировав, что дообучение одной предварительно обученной модели достигает наилучших результатов по одиннадцати бенчмаркам NLP. Эта парадигма "предварительное обучение, затем дообучение" быстро стала доминирующим подходом в NLP, а затем распространилась на компьютерное зрение через Vision Transformers.
Когда применять
Используйте дообученные Трансформеры, когда у вас есть размеченная текстовая, графическая или мультимодальная задача, и вы хотите получить наилучшую точность без обучения большой модели с нуля. Он превосходен, когда размеченных данных мало (от десятков до тысяч примеров), поскольку предварительно обученные представления несут большую часть необходимых знаний. Особенно силен для задач NLP, таких как классификация, NER и ответы на вопросы, и все чаще для задач компьютерного зрения через ViT. Не используйте, когда среда развертывания не может поддерживать инференс больших моделей (например, граничные устройства с жесткими ограничениями по задержке/памяти без квантования), когда область предварительного обучения сильно отличается от целевой области и нет специфичной для области контрольной точки, или когда полная прозрачность модели и интерпретируемость коэффициентов требуются рецензентами или регулирующими органами.
Ограничения и замечания
- Предварительно обученные модели Трансформеров велики (от 110 млн до миллиардов параметров), требуя значительной памяти GPU и вычислительных ресурсов для дообучения.
- По своей природе являются "черным ящиком"; стандартное дообучение не дает интерпретируемых коэффициентов, что может противоречить нормам академической отчетности.
- Производительность может быть нестабильной в зависимости от случайных начальных значений, особенно на небольших целевых наборах данных, что требует нескольких запусков для получения надежных оценок.
- Риск катастрофической потери знаний, если скорость обучения или количество эпох слишком высоки.
- Требует соответствия между областью предварительного обучения и целевой областью; несоответствия значительно снижают производительность.
Условия из источника не заменяют независимую научную проверку или валидацию аналитическим движком.
Сильные стороны
- Достигает наилучшей производительности в широком спектре задач с относительно небольшим количеством размеченных примеров.
- Использует миллиарды параметров предварительно изученных представлений, значительно сокращая объем необходимых обучающих данных.
- Гибкая архитектура поддерживает классификацию, регрессию, генерацию, структурированное предсказание и задачи компьютерного зрения в рамках единой структуры.
- Поддерживаемые сообществом хабы моделей (Hugging Face Hub) предоставляют тысячи контрольных точек для конкретных предметных областей, готовых к дообучению.
- Контекстуальные представления захватывают дальние зависимости, которые упускают модели на основе мешка слов и рекуррентных сетей.
- Стандартизированные рецепты и библиотеки для дообучения (Transformers, PyTorch Lightning) снижают барьер для воспроизводимой реализации.
Применение
- Классификация текстов (анализ тональности, категоризация тем, обнаружение языка вражды).
- Распознавание именованных сущностей, разметка частей речи и другие задачи разметки последовательностей.
- Ответы на вопросы и понимание прочитанного на корпусах, специфичных для предметной области.
- Классификация изображений и распознавание объектов с помощью дообученных Vision Transformers.
- Анализ биомедицинских и юридических документов с использованием предварительно обученных контрольных точек для конкретных предметных областей.
- Задачи на языках с низким уровнем ресурсов, где размеченных данных мало, но существует многоязычная контрольная точка (mBERT, XLM-R).
Как это работает
Как это работает
Выберите контрольную точку Трансформера, чья область предварительного обучения соответствует целевой задаче. Для текстовых задач стандартными являются модели, такие как BERT, RoBERTa или GPT-2, предварительно обученные на больших корпусах. Для задач обработки изображений распространены варианты Vision Transformer (ViT), предварительно обученные на ImageNet или CLIP. Предпочтительны предварительно обученные модели для конкретных предметных областей (например, BioBERT, LegalBERT), когда словарный запас целевой области отличается от общецелевых корпусов.
Добавьте легкую головку, специфичную для задачи, поверх последнего слоя трансформера: линейный слой классификации для классификации последовательностей, линейный слой на уровне токенов для разметки последовательностей (NER, POS) или головку для извлечения фрагментов для ответов на вопросы. Только эта головка инициализируется случайным образом; тело трансформера несет предварительно обученные веса.
Токенизируйте размеченный целевой набор данных, используя оригинальный токенизатор модели для сохранения соответствия словарю. Примените усечение и дополнение, чтобы соответствовать максимальной длине последовательности модели. Разделите на обучающий и проверочный наборы; стратифицируйте по классам, если метки классификации несбалансированы. Вычислите веса классов или примените сверхвыборку, если существует сильный дисбаланс.
Обучайте всю модель сквозным образом на целевых данных, используя низкую скорость обучения (обычно от 1e-5 до 5e-5 для моделей семейства BERT) и короткий график (2–5 эпох для большинства задач NLP). Линейный разогрев скорости обучения в течение первых 10 % шагов с последующим линейным спадом является стандартной практикой. Отслеживайте потери на проверочном наборе на каждой эпохе и применяйте раннюю остановку, чтобы предотвратить катастрофическую потерю предварительно обученных знаний.
Формула
\mathcal{L} = -\sum_{i} y_i \log \hat{y}_iОцените на отложенном тестовом наборе, используя соответствующие задаче метрики: точность и макро-F1 для классификации, F1 на уровне фрагментов для NER и QA, ROUGE или BERTScore для суммаризации. Сообщайте о производительности по нескольким случайным начальным значениям, поскольку результаты дообучения могут зависеть от инициализации, особенно на небольших наборах данных.
Частые ошибки
- Использование слишком высокой скорости обучения (выше 1e-4), вызывающее катастрофическую потерю предварительно обученных весов.
- Дообучение в течение слишком большого количества эпох без ранней остановки, приводящее к переобучению на небольших целевых наборах данных.
- Отчетность о результатах одного запуска дообучения без усреднения по нескольким начальным значениям, маскирующая высокую дисперсию.
- Игнорирование соответствия токенизации путем использования токенизатора, отличного от того, который использовался во время предварительного обучения.
- Выбор общецелевой контрольной точки, когда доступна и явно более подходящая модель для конкретной предметной области (например, BioBERT, SciBERT).
Часто задаваемые вопросы
Сколько размеченных примеров мне нужно для дообучения Трансформера?
Это зависит от сложности задачи, но Трансформеры очень эффективны с точки зрения данных. Задачи классификации часто хорошо работают с несколькими сотнями или тысячами размеченных примеров. Для очень маленьких наборов данных (менее ~200 примеров) методы малопримерового обучения или эффективные по параметрам методы, такие как LoRA или prompt tuning, могут быть более стабильными.
Следует ли мне заморозить тело Трансформера и обучать только головку?
Полное сквозное дообучение последовательно превосходит обучение только головки в большинстве случаев. Замораживание тела полезно в основном тогда, когда у вас очень мало примеров или очень ограниченные вычислительные ресурсы, но это жертвует адаптацией представлений к конкретной задаче.
Какую скорость обучения мне следует использовать?
Модели семейства BERT чувствительны к скорости обучения. Значения от 1e-5 до 5e-5 с линейным разогревом в течение 6–10 % от общего числа шагов являются стандартными отправными точками. Скорости выше 1e-4 обычно вызывают катастрофическую потерю знаний.
Как мне выбрать между различными предварительно обученными контрольными точками?
Предпочитайте контрольные точки, соответствующие предметной области (BioBERT для биомедицинских, LegalBERT для юридических текстов, SciBERT для научных), когда они доступны. Для общих задач RoBERTa или DeBERTa обычно превосходят обычный BERT. Проверьте таблицу лидеров моделей Hugging Face для бенчмарков, специфичных для задач.
Достаточно ли интерпретируем дообученный Трансформер для академической отчетности?
Не в традиционном смысле отчетности по коэффициентам. Однако визуализация внимания, интегрированные градиенты и объяснения на основе SHAP могут выявить, какие токены влияют на предсказания. Эти методы все чаще принимаются в прикладных исследованиях NLP, но могут не удовлетворить рецензентов в строго подтверждающих контекстах социальных наук.
Похожие методы
Источники
Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, L., & Polosukhin, I. (2017). Attention is all you need. Advances in Neural Information Processing Systems, 30.
Открыть ссылку на публикациюСкопировано.Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (2019). BERT: Pre-training of deep bidirectional transformers for language understanding. Proceedings of NAACL-HLT 2019, 4171–4186.
Открыть ссылку на публикациюСкопировано.