Skip to content
Назад к результатам поиска

Дообучение BERT

Автор метода
Devlin, J. et al.
Год
2019
Тип
Transfer learning (fine-tuning a pre-trained transformer)

Этот текст переведён машинным способом и ещё не проверен. Читать оригинал на английском

Размер шрифта

Что он делает?

Дообучение BERT, основанное на модели BERT, представленной Девлином и его коллегами в 2019 году, повторно обучает предварительно обученную модель BERT на небольшом размеченном наборе данных для целевой задачи, такой как классификация, распознавание именованных сущностей или ответы на вопросы.

Благодаря трансферному обучению достигается высокая производительность даже при относительно небольшом объеме данных, специфичных для задачи.

Интуиция метода

Обучение языковой модели с нуля требует огромных объемов текста и вычислительных ресурсов. BERT уже усвоил богатые, общие представления языка во время предварительного обучения, поэтому вместо того, чтобы начинать заново, вы берете эту модель и аккуратно настраиваете ее под свою задачу. Имея лишь небольшой размеченный набор данных, модель адаптирует свои существующие знания к вашей проблеме, поэтому дообучение работает там, где обучение модели с нуля потерпело бы неудачу.

История

BERT был представлен Девлином и его коллегами в 2019 году, продемонстрировав, что глубокие двунаправленные трансформеры, предварительно обученные на больших корпусах, могут быть дообучены для достижения результатов на уровне современных достижений во многих задачах понимания языка. Практические руководства, такие как работа Суна и его коллег 2019 года по дообучению BERT для классификации текстов, помогли утвердить дообучение как стандартный рецепт адаптации больших предварительно обученных языковых моделей к конкретным задачам.

Когда применять

Используйте дообучение BERT для текстовых задач — классификации, предсказания или извлечения отношений, таких как NER и ответы на вопросы — на текстовых переменных, имея как минимум около 50 размеченных примеров и в идеале несколько сотен или более. Предполагается, что предварительно обученная модель BERT доступна и у вас есть размеченные данные для задачи; рекомендуется GPU. При количестве размеченных примеров менее 500 модель склонна к переобучению, а при количестве менее 50 дообучение нецелесообразно — классическое машинное обучение на основе TF-IDF является там более безопасным выбором.

Ограничения и замечания

  • На небольших размеченных наборах данных (менее 500 примеров) дообучение приводит к переобучению, и выходные данные становятся ненадежными.
  • При очень малом количестве размеченных данных (менее 50) дообучение вообще нецелесообразно.
  • Рекомендуется GPU, поэтому требования к вычислительным ресурсам выше, чем для классических текстовых моделей.
  • Зависит от наличия подходящей предварительно обученной модели BERT для языка и предметной области.

Условия из источника не заменяют независимую научную проверку или валидацию аналитическим движком.

Сильные стороны

  • Трансферное обучение обеспечивает высокую производительность даже при относительно небольшом объеме размеченных данных.
  • Захватывает двунаправленный контекст, обрабатывая значение слова, зависящее от окружающего текста.
  • Единая предварительно обученная основа служит для множества задач: классификация, NER, ответы на вопросы.
  • Позволяет избежать огромных затрат данных и вычислительных ресурсов на обучение языковой модели с нуля.

Применение

  • Классификация текстов, такая как анализ тональности и маркировка тем.
  • Распознавание именованных сущностей (NER) в тексте.
  • Ответы на вопросы и извлечение фрагментов.
  • Адаптация общей предварительно обученной языковой модели к конкретной предметной области с ограниченным объемом размеченных данных.

Как это работает

Как это работает

1

Вы начинаете с предварительно обученной модели BERT, которая уже усвоила двунаправленные представления языка из больших текстовых корпусов. Эта предварительно обученная модель несет в себе общие лингвистические знания, которые переносятся на вашу целевую задачу, поэтому вы не изучаете структуру языка с нуля.

2

Для вашей целевой задачи поверх BERT добавляется выходной слой, специфичный для задачи — например, классификационная головка для маркировки тональности, головка на уровне токенов для распознавания именованных сущностей или головка для извлечения фрагментов для ответов на вопросы. Эта головка преобразует контекстуальные представления BERT в предсказания для вашей задачи.

3

Объединенная модель повторно обучается на вашем небольшом размеченном наборе данных задачи, обновляя веса, чтобы они специализировались на задаче. Обычно модель обучается в течение нескольких эпох; рекомендуется использовать GPU, поскольку базовая сеть велика. Результатом является модель, которая отображает текстовые входные данные в предсказания задачи.

Формула
\hat{y} = \text{softmax}(W \cdot h_{\text{[CLS]}} + b)

Частые ошибки

  • Дообучение на слишком малом количестве размеченных примеров и доверие к полученным метрикам.
  • Пропуск выделенного набора для оценки, поэтому переобучение на небольшом наборе данных остается незамеченным.
  • Выбор BERT, когда классическая модель на основе TF-IDF была бы более надежной на крошечных данных.
  • Обучение в течение слишком большого количества эпох на небольшом наборе данных, что усиливает переобучение.

Часто задаваемые вопросы

Сколько размеченных данных мне нужно?

Дообучение целесообразно начиная примерно с 50 размеченных примеров, но производительность более надежна при нескольких сотнях или более. При количестве примеров менее 500 модель склонна к переобучению, а при количестве менее 50 дообучение нецелесообразно — классическая модель на основе TF-IDF является там более безопасной.

Нужен ли мне GPU?

Рекомендуется GPU, поскольку сеть BERT велика, а обучение на CPU медленное. Дообучение обычно выполняется всего несколько эпох, что делает вычислительные ресурсы управляемыми на GPU.

Почему дообучать, а не обучать с нуля?

BERT уже усвоил общие двунаправленные представления языка во время предварительного обучения. Дообучение повторно использует эти знания посредством трансферного обучения, поэтому вы достигаете высокой производительности с гораздо меньшим объемом размеченных данных и вычислительных ресурсов, чем при обучении модели с нуля.

Какие задачи может решать дообучение BERT?

Присоединив выходную головку, специфичную для задачи, вы можете использовать одну и ту же предварительно обученную основу для классификации, распознавания именованных сущностей и ответов на вопросы, среди прочих текстовых задач.

Похожие методы

Источники

  1. Devlin, J., Chang, M.-W., Lee, K. & Toutanova, K. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. NAACL.

    Открыть ссылку DOI
    Скопировано.
  2. Sun, C., Qiu, X., Xu, Y. & Huang, X. (2019). How to Fine-Tune BERT for Text Classification. CCL.

    Открыть ссылку DOI
    Скопировано.