Skip to content
Назад к результатам поиска

Дообученная рекуррентная нейронная сеть

Автор метода
Popularised by Howard & Ruder (ULMFiT, 2018); RNN fine-tuning concept developed iteratively in the NLP community from ~2015
Год
2015–2018
Тип
Transfer learning / sequential model adaptation
Семейство
Deep learning / NLP / CV

Этот текст переведён машинным способом и ещё не проверен. Читать оригинал на английском

Размер шрифта

Что он делает?

Дообученная рекуррентная нейронная сеть (RNN) начинается с модели, предварительно обученной на больших корпусах или временных рядах, и адаптирует свои веса для конкретной нижестоящей задачи посредством контролируемых градиентных обновлений.

Этот подход значительно сокращает объем размеченных данных, необходимых для высокой производительности моделирования последовательностей в задачах классификации текстов, распознавания именованных сущностей, анализа тональности и смежных задачах.

Интуиция метода

Обучение RNN с нуля требует больших размеченных наборов данных и длительного времени выполнения. Дообучение обходит эту проблему, заимствуя сеть, которая уже знает структуру языка или последовательные закономерности, а затем подталкивая ее к специализации. Более ранние рекуррентные слои — кодирующие общие синтаксические и временные закономерности — требуют лишь незначительной корректировки, в то время как более поздние слои и специфичная для задачи выходная головка поглощают большую часть новой информации. Тщательное планирование скорости обучения предотвращает забывание моделью того, что она уже знает.

История

Дообучение предварительно обученных RNN для NLP постепенно развивалось с 2015 года, поскольку языковые модели, обученные на больших корпусах, демонстрировали переносимые представления. Практика была систематизирована в статье ULMFiT Говарда и Рудера (ACL 2018), которая представила постепенную разморозку и дискриминационные скорости обучения для LSTM-языковых моделей, достигнув передовых результатов на шести бенчмарках классификации текстов с очень малым объемом данных, специфичных для задачи. Хотя дообучение на основе Трансформеров (BERT, 2018) вскоре стало доминировать в NLP-бенчмарках, дообученные RNN остаются актуальными для развертываний с ограниченными ресурсами и приложений временных рядов.

Когда применять

Используйте дообученную RNN, когда размеченных данных для вашей задачи мало, но доступна предварительно обученная RNN или языковая модель для вашего домена или языка. Она хорошо подходит для классификации текстов, анализа тональности, NER и последовательного предсказания, где модель на основе Трансформера была бы избыточно параметризована или недоступна. Избегайте дообучения обычных RNN, когда доминируют очень длинные зависимости — LSTM или Трансформеры лучше справляются с этим — или когда критична задержка инференса в реальном времени, поскольку даже небольшие RNN могут медленно разворачиваться. Не применяйте дообучение RNN к чисто табличным или не последовательным данным.

Ограничения и замечания

  • Обычные RNN страдают от затухающих градиентов и испытывают трудности с долгосрочными зависимостями; предпочтительны базовые модели LSTM или GRU.
  • Качество дообучения ограничено релевантностью корпуса предварительного обучения — несоответствие доменов снижает выгоду.
  • Чувствительность к гиперпараметрам (расписание скорости обучения, эпохи разморозки) требует тщательной настройки или поиска по валидационному набору.
  • В значительной степени вытеснены моделями на основе Трансформеров (BERT, RoBERTa) для большинства NLP-бенчмарков при наличии достаточных вычислительных ресурсов.

Условия из источника не заменяют независимую научную проверку или валидацию аналитическим движком.

Сильные стороны

  • Существенно сокращает объем требуемых размеченных данных по сравнению с обучением с нуля.
  • Предварительно обученные веса кодируют богатые последовательные представления, которые переносятся между связанными задачами и доменами.
  • Вычислительно менее затратно, чем дообучение больших моделей Трансформеров, что делает его доступным без кластеров GPU.
  • Постепенная разморозка и дискриминационные скорости обучения эффективно ограничивают катастрофическое забывание.
  • Гибкость: работает для текста, временных рядов, речи и любых данных с последовательной структурой.

Применение

  • Классификация текстов (анализ тональности, категоризация тем) с ограниченным количеством размеченных примеров.
  • Распознавание именованных сущностей и разметка последовательностей в специализированных доменах, таких как биомедицинские или юридические тексты.
  • Обнаружение аномалий во временных рядах путем адаптации предварительно обученных моделей последовательностей к конкретным сигналам датчиков.
  • Адаптация языковой модели для низкоресурсных или доменно-специфичных корпусов.
  • Последовательные рекомендательные системы, использующие предварительно обученные кодировщики последовательностей пользовательского поведения.

Как это работает

Как это работает

1

Базовая RNN (обычная RNN, LSTM или GRU) сначала предварительно обучается на большом неразмеченном корпусе с использованием цели языкового моделирования, такой как предсказание следующего токена, или на большом наборе временных рядов из исходного домена. Этот этап создает представления, которые улавливают общую последовательную структуру без каких-либо специфичных для задачи меток.

2

При адаптации к целевой задаче слои постепенно размораживаются сверху вниз (ближе к выходу). Начиная со всех замороженных рекуррентных слоев, предотвращается катастрофическое забывание предварительно обученных весов; постепенная разморозка позволяет каждому слою скорректироваться перед высвобождением следующего.

3

Различные скорости обучения назначаются разным слоям — самые высокие у выхода, самые низкие у входа. Эта стратегия дискриминационного обучения, популяризированная ULMFiT (Howard and Ruder 2018), отражает наблюдение, что нижние слои кодируют более общие признаки, которые должны минимально изменяться.

4

Специфичная для задачи выходная головка (например, линейный классификатор для тональности, CRF для разметки последовательностей) добавляется поверх последнего рекуррентного слоя. Эта головка обучается совместно с размороженными рекуррентными слоями, позволяя модели сопоставлять изученные представления с метками целевого домена.

5

Производительность модели оценивается на выделенном валидационном наборе с использованием подходящих для задачи метрик (точность, F1, макро-среднее F1 для несбалансированных классов или метрики на уровне последовательностей). Ранняя остановка на основе потерь на валидационном наборе защищает от переобучения на малом наборе данных для дообучения.

Частые ошибки

  • Использование единой высокой скорости обучения для всех слоев, что перезаписывает предварительно обученные веса и устраняет преимущества переноса знаний.
  • Пропуск постепенной разморозки и одновременное дообучение всех слоев, что приводит к катастрофическому забыванию.
  • Оценка только по точности при несбалансированных классах — всегда сообщайте макро F1 и метрики для каждого класса.
  • Предположение, что предварительно обученная модель из другого языка или домена хорошо перенесется без адаптации к домену.
  • Пренебрежение ранней остановкой и переобучение на наборе данных для дообучения при малом количестве размеченных данных.

Часто задаваемые вопросы

Следует ли использовать обычную RNN, LSTM или GRU в качестве базовой модели?

Всегда предпочитайте LSTM или GRU обычной RNN. Обычные RNN страдают от затухающих градиентов на последовательностях длиннее нескольких десятков шагов, что делает предварительно обученные представления хрупкими. LSTM и GRU были специально разработаны для сохранения долгосрочной информации и более стабильного дообучения.

Сколько эпох должно продолжаться дообучение?

Обычно 3–10 эпох на целевой задаче, в зависимости от размера набора данных. Используйте раннюю остановку на основе потерь на валидационном наборе, а не фиксированное количество эпох. Слишком долгое дообучение на малом наборе данных приведет к переобучению, несмотря на предварительную инициализацию.

Когда следует предпочесть дообученный Трансформер дообученной RNN?

Когда вычислительные ресурсы не являются узким местом, а целью является высокая производительность на бенчмарках, дообученные Трансформеры (BERT, RoBERTa) последовательно превосходят дообученные RNN в задачах NLP. Выбирайте дообученную RNN, когда вам нужен меньший объем памяти, более быстрая инференция на CPU или вы работаете с длинными временными рядами, где квадратичная сложность внимания Трансформеров непрактична.

Что делать, если для моего домена нет предварительно обученной RNN?

Если предварительно обученная модель для вашего языка или домена недоступна, рассмотрите возможность предварительного обучения небольшой LSTM на любом доступном неразмеченном тексте из домена в качестве первого шага, даже если корпус невелик. Альтернативно, используйте многоязычную предварительно обученную модель и дообучите ее на данных целевого языка.

Как предотвратить катастрофическое забывание?

Применяйте постепенную разморозку (размораживайте слои по одному сверху вниз) и используйте более низкие скорости обучения для ранних слоев (дискриминационные скорости обучения). Косые треугольные расписания скорости обучения, предложенные в ULMFiT, также помогают модели закрепиться в хорошем решении, не стирая предварительно полученные знания.

Похожие методы

Источники

  1. Howard, J. & Ruder, S. (2018). Universal Language Model Fine-Tuning for Text Classification. Proceedings of ACL 2018, 328–339.

    Открыть ссылку DOI
    Скопировано.
  2. Recurrent neural network. Wikipedia.

    Открыть ссылку на публикацию
    Скопировано.