Skip to content
Назад к результатам поиска

Перенос обучения с рекуррентной нейронной сетью

Автор метода
Pan, S. J. & Yang, Q. (transfer learning survey); RNN origins: Rumelhart, D. E. et al. (1986)
Год
2010 (TL survey); RNN: 1986
Тип
Transfer learning on sequence model
Семейство
Deep learning / NLP / CV

Этот текст переведён машинным способом и ещё не проверен. Читать оригинал на английском

Размер шрифта

Что он делает?

Перенос обучения с рекуррентной нейронной сетью (TL-RNN) повторно использует веса, полученные RNN на большой исходной задаче — такой как языковое моделирование или предсказание последовательностей — и адаптирует их к новой, часто меньшей целевой задаче.

Эта стратегия позволяет практикам достигать высокой производительности в моделировании последовательностей без необходимости в массивных размеченных наборах данных.

Интуиция метода

Обучение RNN с нуля на небольшом целевом наборе данных обычно приводит к плохой обобщающей способности, поскольку рекуррентные сети имеют много параметров и требуют существенных данных для надежной сходимости. Перенос обучения обходит эту проблему: RNN сначала изучает общие последовательные закономерности на основе обильных исходных данных, кодируя в своих весах такие вещи, как совместная встречаемость слов или временные ритмы. Затем эти веса используются в качестве отправной точки для целевой задачи, поэтому модели нужно лишь донастроить часть своих параметров на ограниченных целевых данных. Результатом является более быстрая сходимость и лучшая точность, чем при случайной инициализации.

История

Теоретические основы переноса обучения были формализованы Паном и Яном в их обзоре IEEE TKDE 2010 года, который остается каноническим источником. Применение переноса обучения к рекуррентным архитектурам получило практическое распространение примерно в 2015–2018 годах, когда LSTM и GRU стали доминировать в обработке естественного языка. Работы, такие как ELMo (Peters et al., 2018), продемонстрировали, что предварительно обученные двунаправленные LSTM могут переносить контекстные языковые представления на различные последующие задачи, прежде чем модели на основе трансформеров в значительной степени заняли эту роль после 2019 года.

Когда применять

Используйте TL-RNN, когда у вас есть последовательная или текстовая целевая задача с ограниченным количеством размеченных данных, но вы можете определить связанную исходную задачу или предварительно обученную рекуррентную модель. Она хорошо подходит для задач обработки естественного языка (анализ тональности, классификация текстов, распознавание именованных сущностей) и задач временных последовательностей (обнаружение аномалий, прогнозирование спроса), где данные из смежных областей обильны, но целевых меток мало. Не используйте ее, когда исходная и целевая области сильно различаются — отрицательный перенос может ухудшить производительность. Для чисто табличных непоследовательных данных древовидные или основанные на механизме внимания модели обычно превосходят TL-RNN. Когда для вашей области доступны большие предварительно обученные трансформеры (BERT, GPT), они обычно превосходят TL-RNN в задачах обработки естественного языка.

Ограничения и замечания

  • Подверженность отрицательному переносу, когда исходные и целевые области или задачи семантически далеки.
  • Перенос обучения на основе RNN в обработке естественного языка в значительной степени вытеснен моделями на основе трансформеров (BERT, GPT), которые предлагают более богатые контекстные представления.
  • Выбор гиперпараметров — скорость обучения, глубина замороженных слоев, эпохи донастройки — существенно влияет на результат и требует тщательной настройки.
  • Рекуррентные архитектуры по своей природе последовательны и медленнее обучаются, чем параллелизуемые трансформеры.
  • Веса предварительно обученной RNN могут быть недоступны публично для всех областей, что требует дорогостоящего предварительного обучения на исходной задаче.

Условия из источника не заменяют независимую научную проверку или валидацию аналитическим движком.

Сильные стороны

  • Достигает высокой производительности на малых целевых наборах данных за счет использования представлений, полученных на больших исходных данных.
  • Сокращает время обучения и вычислительные затраты по сравнению с обучением RNN с нуля.
  • Гибкость: работает с обычными архитектурами RNN, LSTM и GRU и применима как к областям обработки естественного языка, так и к временным рядам.
  • Позволяет выборочно замораживать слои для контроля степени адаптации и предотвращения переобучения.
  • Обеспечивает принципиальный теплый старт, который стабилизирует поток градиентов во время донастройки.

Применение

  • Классификация текстов (анализ тональности, маркировка тем) с ограниченными аннотированными корпусами.
  • Распознавание именованных сущностей, адаптированное из общей модели NER к специализированной области.
  • Обнаружение аномалий во временных рядах, где модель, предварительно обученная на данных нормальной эксплуатации, донастраивается на редких метках неисправностей.
  • Прогнозирование спроса или продаж в новой категории продуктов с использованием модели, предварительно обученной на исторических данных из связанных категорий.
  • Прогнозирование клинических событий путем адаптации RNN, предварительно обученной на больших последовательностях электронных медицинских карт, к меньшей когорте пациентов.
  • Межъязыковое маркирование последовательностей, перенос рекуррентных представлений между связанными языками.

Как это работает

Как это работает

1

RNN (обычная RNN, LSTM или GRU) обучается на большом исходном корпусе или задаче — например, на языковом моделировании на уровне символов или слов. Рекуррентные слои учатся кодировать временные зависимости и контекстные представления, которые обобщаются на многие последовательные задачи.

2

При переходе к целевой задаче практик решает, какие слои заморозить (сохранить исходные веса фиксированными), а какие разрешить обновлять. Ранние рекуррентные слои захватывают общие последовательные признаки и часто замораживаются; более поздние или специфичные для задачи слои остаются обучаемыми. Это решение является компромиссом между предотвращением переобучения на малых целевых данных и обеспечением адаптации к конкретной задаче.

3

Предварительно обученная RNN подключается к новой выходной голове, соответствующей целевой задаче (например, классификатор softmax для анализа тональности или регрессионная голова для прогнозирования спроса). Обучение выполняется на целевом наборе данных, обычно с низкой скоростью обучения, чтобы избежать перезаписи обобщенных представлений, полученных во время предварительного обучения.

4

Производительность оценивается на отложенном тестовом наборе с использованием метрик, соответствующих задаче (точность, F1, RMSE и т. д.). Прирост переноса количественно определяется путем сравнения TL-RNN со случайно инициализированной RNN, обученной на тех же целевых данных при идентичных условиях.

Частые ошибки

  • Использование предварительно обученной модели из области, не связанной с целевой задачей, без проверки сходства областей, что создает риск отрицательного переноса.
  • Донастройка с чрезмерно высокой скоростью обучения, которая перезаписывает предварительно обученные представления и сводит на нет преимущества переноса.
  • Забывание сравнить TL-RNN с базовой линией, инициализированной случайным образом — без этого сравнения прирост переноса невозможно количественно оценить.
  • Рассмотрение границы замороженных/обучаемых слоев как тривиального значения по умолчанию, а не как преднамеренного выбора дизайна, проверенного на валидационном наборе.
  • Игнорирование утечки данных между исходными и целевыми выборками, что завышает кажущуюся производительность переноса.

Часто задаваемые вопросы

Как выбрать, какие слои RNN заморозить?

Распространенный эвристический подход — заморозить нижние рекуррентные слои (которые захватывают общие последовательные закономерности) и оставить верхние слои и выходную голову обучаемыми. Проверьте этот выбор на отложенном валидационном наборе — если производительность стабилизируется, попробуйте разморозить по одному дополнительному слою за раз.

Имеет ли смысл TL-RNN, когда доступны модели BERT или GPT?

Для стандартных задач обработки естественного языка модели на основе трансформеров обычно превосходят TL-RNN и в целом предпочтительнее. TL-RNN остается актуальной для развертывания в условиях ограниченных ресурсов, для не-NLP последовательных данных (временные ряды, биологические последовательности) или когда существует специфичная для области предварительно обученная RNN, но нет сопоставимой модели трансформера.

Какую скорость обучения следует использовать для донастройки?

Начните со скорости обучения на один-два порядка ниже, чем та, которую вы использовали бы для обучения с нуля (например, 1e-4 вместо 1e-2). Использование планировщика скорости обучения, который постепенно размораживает слои (дискриминативная донастройка), может дополнительно стабилизировать обучение.

Как обнаружить отрицательный перенос?

Обучите случайно инициализированную RNN на тех же целевых данных в качестве базовой линии. Если TL-RNN не показывает улучшения по сравнению с этой базовой линией — особенно на отложенном тестовом наборе — вероятно, имеет место отрицательный перенос. Пересмотрите связанность ваших исходной и целевой задач.

Подходит ли TL-RNN для очень коротких временных рядов?

Короткие последовательности предоставляют мало сигналов для использования рекуррентными слоями, поэтому прирост от переноса может быть минимальным. В таком режиме инженерия признаков в сочетании с более простой моделью (например, градиентный бустинг) часто превосходит TL-RNN.

Похожие методы

Источники

  1. Pan, S. J., & Yang, Q. (2010). A Survey on Transfer Learning. IEEE Transactions on Knowledge and Data Engineering, 22(10), 1345–1359.

    Открыть ссылку DOI
    Скопировано.
  2. Transfer learning. Wikipedia.

    Открыть ссылку на публикацию
    Скопировано.