Дообученная GRU
- Автор метода
- Cho, K. et al. (GRU); fine-tuning practice from transfer learning literature
- Год
- 2014 (GRU); fine-tuning practice established 2010s
- Тип
- Sequence model with transfer learning
- Семейство
- Deep learning / NLP / CV
Этот текст переведён машинным способом и ещё не проверен. Читать оригинал на английском
Что он делает?
Дообученная GRU адаптирует сеть Gated Recurrent Unit — предварительно обученную на большом исходном наборе данных — для конкретной целевой задачи или предметной области путем продолжения обучения на размеченных данных, специфичных для данной области.
Это сочетает способность GRU к запоминанию последовательностей с эффективностью трансферного обучения, достигая высокой производительности даже при ограниченном количестве размеченных целевых данных.
Интуиция метода
GRU, предварительно обученная на больших корпусах, уже умеет моделировать временные зависимости и последовательную структуру. При дообучении вы сохраняете эти усвоенные знания и мягко адаптируете их к вашей конкретной задаче. Вместо обучения модели последовательностей с нуля — что требует больших объемов данных — вы начинаете с осведомленной базы и обновляете ее с помощью вашего небольшого набора данных предметной области. Механизм вентилей GRU (update и reset gates) делает их эффективными для дообучения, поскольку требуется настраивать меньше параметров по сравнению с более крупными архитектурами.
История
Рекуррентные вентильные блоки (Gated Recurrent Units) были представлены Чо и др. в 2014 году как более простая альтернатива LSTM, с вентилями обновления и сброса, заменяющими более сложную вентильную систему LSTM. Практика дообучения предварительно обученных рекуррентных сетей возникла вместе с более широким движением трансферного обучения, формализованным Паном и Янгом (2010). По мере распространения предварительно обученных языковых моделей в конце 2010-х годов дообучение рекуррентных архитектур на задачах, специфичных для предметной области, стало стандартным базовым методом, прежде чем модели на основе трансформеров стали доминирующими.
Когда применять
Используйте дообученную GRU, когда у вас есть последовательные данные или данные временных рядов в области, где размеченные примеры ограничены, но доступна предварительно обученная GRU или совместимая рекуррентная модель из связанной области. Она хорошо подходит для классификации в НЛП, анализа тональности, распознавания именованных сущностей, разметки последовательностей коротких текстов и одномерного или многомерного прогнозирования временных рядов, когда ваш целевой набор данных содержит от десятков до нескольких тысяч размеченных примеров. Избегайте ее, когда ваша целевая область структурно сильно отличается от области предварительного обучения, что делает перенос маловероятным; когда ваш размеченный набор данных достаточно велик для обучения с нуля; или когда ваши последовательности очень длинные и трансформеры были бы более подходящими.
Ограничения и замечания
- Производительность сильно зависит от того, насколько хорошо область предварительного обучения соответствует целевой области; несоответствие областей может навредить, а не помочь.
- Предварительно обученные модели GRU менее распространены, чем предварительно обученные трансформеры (например, BERT), что ограничивает выбор готовых решений.
- GRU обрабатывают последовательности последовательно, что ограничивает параллелизацию и замедляет обучение по сравнению с дообучением на основе трансформеров на современном оборудовании.
- Очень длинные последовательности могут по-прежнему представлять сложность для GRU даже после дообучения, где трансформеры с механизмом внимания имеют структурные преимущества.
- Чувствительность к гиперпараметрам: выбор скорости обучения и стратегии замораживания слоев существенно влияют на результат и требуют тщательной настройки.
Условия из источника не заменяют независимую научную проверку или валидацию аналитическим движком.
Сильные стороны
- Требуется значительно меньше размеченных целевых примеров, чем для обучения GRU с нуля.
- Механизмы вентилей GRU являются легковесными, что делает дообучение быстрым и эффективным по памяти по сравнению с альтернативами на основе трансформеров.
- Сохраняет усвоенную последовательную структуру из предварительного обучения, адаптируясь к закономерностям предметной области.
- Эффективна как для задач НЛП, так и для прогнозирования временных рядов в условиях нехватки данных.
- Дообучение с низкой скоростью обучения снижает катастрофическое забывание общих знаний о последовательностях.
- Гибкость: стратегии замораживания слоев позволяют регулировать степень адаптации в зависимости от размера набора данных.
Применение
- Анализ тональности и классификация текстов с ограниченным количеством размеченных обучающих данных.
- Распознавание именованных сущностей и разметка последовательностей в специализированных областях, таких как биомедицинские или юридические тексты.
- Прогнозирование временных рядов в областях, где данные датчиков или рыночные данные редки, но связанные данные обильны.
- Задачи классификации коротких текстов, такие как определение намерений в диалоговых системах.
- Обнаружение аномалий в последовательных промышленных данных или данных датчиков Интернета вещей.
- Адаптация предметной области в конвейерах НЛП, где модели трансформеров слишком велики для ограничений развертывания.
Как это работает
Как это работает
Сеть GRU сначала обучается на большом наборе данных общего назначения (например, большой текстовый корпус для задач НЛП или обширная коллекция временных рядов для прогнозирования). Это предварительное обучение учит сеть улавливать последовательные закономерности, зависимости и временную структуру до введения каких-либо специфичных для предметной области знаний.
Веса предварительно обученной GRU загружаются в целевую архитектуру. В зависимости от размера целевого набора данных и степени отличия целевой области от исходной, ранние слои GRU могут быть заморожены (их веса фиксированы), в то время как более поздние слои и специфичная для задачи выходная часть остаются обучаемыми, концентрируя вычислительную мощность там, где адаптация наиболее необходима.
Сеть обучается на размеченном целевом наборе данных с использованием более низкой скорости обучения, чем та, что использовалась при предварительном обучении, минимизируя функцию потерь для целевых примеров. Более низкая скорость обучения предотвращает катастрофическое забывание — перезапись общих знаний о последовательностях, приобретенных во время предварительного обучения.
Формула
\mathcal{L}_{\text{fine-tune}} = \frac{1}{N}\sum_{i=1}^{N}\ell(f_{\theta}(x_i), y_i)Методы регуляризации, такие как dropout на выходах GRU, регуляризация весов (weight decay) и раннее прекращение обучения (early stopping) на валидационном наборе, применяются для предотвращения переобучения на обычно меньшем целевом наборе данных. Послойное снижение скорости обучения (более низкие скорости для ранних слоев) также является распространенной практикой при дообучении глубоких стеков.
Дообученная модель оценивается на отложенном тестовом наборе с использованием метрик, соответствующих задаче (точность, F1, RMSE и т. д.). Производительность сравнивается с GRU, обученной с нуля только на целевых данных, и с замороженной предварительно обученной базовой моделью, чтобы подтвердить, что дообучение добавляет ценность.
Частые ошибки
- Использование скорости обучения, столь же высокой, как при предварительном обучении, что приводит к катастрофическому забыванию предварительно обученных представлений последовательностей.
- Не проверка того, достаточно ли связаны исходная и целевая области перед инвестированием в дообучение.
- Игнорирование необходимости раннего прекращения обучения на целевом валидационном наборе, что приводит к переобучению на малых целевых наборах данных.
- Неспособность сравнить с GRU, обученной с нуля, чтобы подтвердить, что дообучение действительно улучшает результат по сравнению с базовой моделью без переноса.
- Рассмотрение дообученной производительности как окончательной без оценки на отдельном отложенном тестовом наборе (повторное использование валидационного набора).
Часто задаваемые вопросы
Следует ли замораживать ранние слои GRU во время дообучения?
Это зависит от того, насколько целевая область отличается от области предварительного обучения и насколько велик ваш целевой набор данных. При малом целевом наборе данных и схожих областях замораживание ранних слоев и обучение только выходной части снижает риск переобучения. При большем количестве целевых данных и другой области дообучение всех слоев часто дает лучшие результаты.
Какую скорость обучения следует использовать для дообучения?
Скорость обучения на одну-две порядка ниже, чем исходная скорость предварительного обучения, является стандартной отправной точкой (например, 1e-4 - 1e-5, если при предварительном обучении использовалась скорость 1e-3). Используйте валидационный набор и раннее прекращение обучения, чтобы убедиться, что скорость не слишком высока (вызывая забывание) и не слишком низка (вызывая незначительную адаптацию).
Как дообученная GRU сравнивается с дообученной LSTM или трансформером?
GRU легче, чем LSTM (меньше параметров), и намного легче, чем трансформеры, что делает дообученные GRU быстрее в обучении и развертывании. Однако дообученные трансформеры (например, BERT) обычно превосходят дообученные GRU в задачах НЛП, когда позволяют вычислительные ресурсы. Для задач с временными рядами или в ограниченных средах дообученные GRU остаются конкурентоспособными.
Сколько целевых данных мне нужно, чтобы дообучение было эффективным?
Дообучение обычно показывает преимущества при наличии всего нескольких сотен размеченных примеров, что является основным преимуществом по сравнению с обучением с нуля. При менее чем примерно 100 примерах возрастает риск переобучения на целевой задаче, и могут потребоваться более простые модели или более сильная регуляризация.
Можно ли использовать дообученную GRU для регрессии (а не только для классификации)?
Да. Заменив выходной слой классификации softmax на линейный выходной слой и используя регрессионную функцию потерь, такую как MSE, дообученная GRU напрямую применяется к прогнозированию временных рядов и другим задачам с непрерывными целевыми значениями.
Похожие методы
Источники
Cho, K., van Merrienboer, B., Gulcehre, C., Bahdanau, D., Bougares, F., Schwenk, H., & Bengio, Y. (2014). Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation. In Proceedings of EMNLP 2014, pp. 1724-1734.
Открыть ссылку на публикациюСкопировано.Pan, S. J., & Yang, Q. (2010). A Survey on Transfer Learning. IEEE Transactions on Knowledge and Data Engineering, 22(10), 1345-1359.
Открыть ссылку DOIСкопировано.