Дообученная LSTM
- Автор метода
- Howard, J. & Ruder, S. (ULMFiT); foundational LSTM by Hochreiter & Schmidhuber
- Год
- 2018 (fine-tuning paradigm formalised); LSTM core: 1997
- Тип
- Supervised sequential model with transfer learning
- Семейство
- Deep learning / NLP / CV
Этот текст переведён машинным способом и ещё не проверен. Читать оригинал на английском
Что он делает?
Дообученная LSTM адаптирует предварительно обученную на большом корпусе сеть долговременной краткосрочной памяти (Long Short-Term Memory) к конкретной последующей задаче — такой как классификация текста, анализ настроений или разметка последовательностей — путём продолжения обучения на размеченных данных, специфичных для задачи.
Этот подход, популяризированный фреймворком ULMFiT, достигает высокой производительности даже при дефиците размеченных данных.
Интуиция метода
Обучение LSTM с нуля на небольшом размеченном наборе данных часто даёт плохие результаты, поскольку сеть должна одновременно изучать как структуру языка, так и саму задачу. Дообучение разделяет эти проблемы: большой неразмеченный корпус обучает сеть общим последовательным представлениям, а небольшой размеченный набор затем направляет эти представления к целевой задаче. Предварительно обученные веса служат "знающей" отправной точкой, поэтому обновления градиентов во время дообучения вносят целенаправленные корректировки, а не обучаются всему с нуля из случайной инициализации.
История
Архитектура LSTM была представлена Hochreiter и Schmidhuber в 1997 году для решения проблемы затухания градиента в рекуррентных сетях. Дообучение предварительно обученных LSTM для обработки естественного языка (NLP) стало мейнстримом с появлением ULMFiT (2018) от Howard и Ruder, который продемонстрировал, что трёхэтапное обучение — предварительное обучение языковой модели, адаптация к домену и дообучение задачи — значительно сокращает количество размеченных данных, необходимых для высокой производительности классификации текста. ULMFiT повлиял на последующую волну дообучения предварительно обученных Transformer (BERT, GPT), которая теперь доминирует в бенчмарках NLP.
Когда применять
Дообученная LSTM подходит, когда у вас есть последовательные или текстовые данные, ограниченное количество размеченных примеров, специфичных для задачи (от десятков до нескольких тысяч), и доступ к предварительно обученной языковой модели LSTM или возможность её загрузки. Она превосходно справляется с задачами классификации текста, анализа настроений и разметки последовательностей, где полные модели Transformer слишком ресурсоёмки или длина последовательностей невелика. Избегайте её, когда размеченных данных много и обучение с нуля осуществимо, когда целевая область является узкоспециализированной и подходящей предварительно обученной модели не существует, или когда задача требует очень длинных зависимостей, с которыми Transformer справляется лучше. Для больших размеченных корпусов дообучение моделей на основе BERT обычно превосходит подходы на основе LSTM.
Ограничения и замечания
- Производительность в текстовых задачах обычно ниже, чем у дообученных моделей Transformer (BERT, RoBERTa), когда позволяют вычислительные ресурсы.
- Качество сильно зависит от релевантности корпуса предварительного обучения целевой предметной области.
- Обучение LSTM по своей природе последовательно и не распараллеливается по временным шагам, что делает предварительное обучение медленным на длинных последовательностях.
- Постепенная разморозка и дискриминативные скорости обучения вводят дополнительные гиперпараметры, требующие тщательной настройки.
Условия из источника не заменяют независимую научную проверку или валидацию аналитическим движком.
Сильные стороны
- Эффективно в условиях малого количества данных: предварительно обученные представления компенсируют ограниченное количество размеченных примеров.
- Меньшие вычислительные затраты по сравнению с дообучением больших моделей Transformer на оборудовании только с CPU или с ограниченной памятью.
- Постепенная разморозка и дискриминативные скорости обучения уменьшают катастрофическое забывание предварительно обученных знаний.
- Естественным образом обрабатывает последовательности переменной длины без механизмов внимания, сильно зависящих от заполнения (padding).
- Хорошо подходит для потокового или реального времени вывода благодаря последовательной природе вычислений LSTM.
Применение
- Классификация текста с ограниченным количеством размеченных данных (настроение, тема, намерение).
- Задачи разметки последовательностей, такие как распознавание именованных сущностей и морфологическая разметка.
- Обнаружение аномалий и прогнозирование временных рядов, когда доступны предварительно обученные LSTM, специфичные для предметной области.
- NLP для языков с ограниченными ресурсами, где предварительно обученные модели Transformer недоступны.
- Сценарии развёртывания на периферийных устройствах или во встраиваемых системах, требующие меньших последовательных моделей, чем полные Transformer.
- Итеративные конвейеры адаптации к домену, где общая LSTM постепенно специализируется для новых доменов.
Как это работает
Как это работает
Многослойная LSTM сначала обучается как языковая модель на большом корпусе общего назначения (например, WikiText-103) для предсказания следующего токена в последовательности. Эта фаза формирует богатые последовательные и семантические представления в скрытых состояниях без необходимости в каких-либо метках задачи.
При адаптации к новой предметной области слои размораживаются постепенно, начиная с выходного слоя и двигаясь внутрь — метод, называемый постепенной разморозкой (gradual unfreezing). Это предотвращает катастрофическое забывание предварительно обученных представлений, позволяя более ранним слоям обновляться только после того, как более поздние слои стабилизируются на новой задаче.
К конечному скрытому состоянию LSTM добавляется выходная "голова", специфичная для задачи (например, классификатор softmax, слой CRF для разметки последовательностей или регрессионная "голова"). Эта "голова" обучается сначала, пока тело LSTM заморожено, затем вся сеть дообучается "сквозным" образом (end-to-end).
Дискриминативное дообучение (discriminative fine-tuning) назначает разные скорости обучения каждому слою LSTM — более низкие скорости для ранних слоёв, содержащих общие признаки, и более высокие скорости для более поздних слоёв, близких к задаче. Howard & Ruder предложили делить скорость обучения на коэффициент 2.6 для каждого слоя, двигаясь от выхода ко входу.
Формула
\eta_l = \eta_{L} / (2.6)^{L - l}Полностью размороженная сеть обучается на размеченном целевом наборе данных, как правило, с использованием "косого треугольного" расписания скорости обучения (slanted triangular learning rate schedule), которое кратковременно увеличивается, а затем затухает. Производительность оценивается на отложенном валидационном наборе с использованием метрик, соответствующих задаче (точность, F1, AUROC и т.д.), и выбирается лучший контрольный пункт.
Частые ошибки
- Пропуск постепенной разморозки и одновременное дообучение всех слоёв, что приводит к катастрофическому забыванию предварительно обученных представлений.
- Использование предварительно обученной модели из несоответствующей предметной области (например, общий веб-текст для узкоспециализированных биомедицинских последовательностей) без промежуточной адаптации к домену.
- Оценка только на обучающей выборке или отсутствие мониторинга потерь на валидационной выборке для обнаружения переобучения на небольших целевых наборах данных.
- Установка единой скорости обучения для всех слоёв LSTM вместо применения дискриминативных скоростей.
- Игнорирование дисбаланса классов в классификационной "голове", что приводит к завышенной точности для мажоритарного класса.
Часто задаваемые вопросы
Остаётся ли дообученная LSTM конкурентоспособной по сравнению с моделями на основе BERT?
Для большинства бенчмарков NLP дообученные модели Transformer превосходят дообученные LSTM, когда позволяют вычислительные ресурсы. Однако дообученные LSTM остаются конкурентоспособными на небольших наборах данных, в условиях ограниченных ресурсов и для задач потокового вывода, где последовательные вычисления LSTM являются преимуществом.
Какую предварительно обученную LSTM мне следует использовать?
Для англоязычного NLP веса AWD-LSTM, обученные на WikiText-103 (выпущенные авторами ULMFiT через fastai), являются стандартной отправной точкой. Для задач, специфичных для предметной области, промежуточное предварительное обучение на неразмеченном тексте внутри домена перед дообучением задачи обычно даёт значительные улучшения.
Сколько эпох обычно требуется для дообучения?
Дообучение, специфичное для задачи, обычно требует всего 2–10 эпох на размеченном наборе данных. Внимательно следите за потерями на валидационной выборке; LSTM могут быстро переобучаться на небольших размеченных наборах. Настоятельно рекомендуется ранняя остановка на основе валидационного F1 или потерь.
В чём разница между дообучением и обучением LSTM с использованием трансферного обучения?
Термины часто пересекаются, но дообучение (fine-tuning) конкретно относится к обновлению предварительно обученных весов (даже если выборочно), тогда как трансферное обучение (transfer learning) иногда описывает замораживание всех предварительно обученных слоёв и обучение только "головы" задачи. Полное дообучение с постепенной разморозкой постоянно превосходит подход с замороженным телом.
Когда следует предпочесть дообученный Transformer дообученной LSTM?
Предпочтите дообученный Transformer (например, BERT), когда у вас есть ресурсы GPU, задача включает долгосрочные зависимости или сложное контекстное понимание, и доступны большие предварительно обученные контрольные точки для вашей предметной области. Выбирайте дообученную LSTM, когда аппаратное обеспечение ограничено, последовательности имеют короткую или среднюю длину, или задержка вывода на периферийных устройствах является ограничением.
Похожие методы
Источники
Howard, J., & Ruder, S. (2018). Universal Language Model Fine-tuning for Text Classification. Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (ACL), 328–339.
Открыть ссылку DOIСкопировано.Hochreiter, S., & Schmidhuber, J. (1997). Long Short-Term Memory. Neural Computation, 9(8), 1735–1780.
Открыть ссылку DOIСкопировано.