Трансферное обучение с использованием LSTM
- Автор метода
- Howard, J. & Ruder, S. (ULMFiT); general concept: Pan & Yang (2010)
- Год
- 2018 (ULMFiT; concept since ~2010)
- Тип
- Transfer learning / Sequential model
- Семейство
- Deep learning / NLP / CV
Этот текст переведён машинным способом и ещё не проверен. Читать оригинал на английском
Что он делает?
Трансферное обучение с использованием LSTM — это метод, при котором сеть долговременной краткосрочной памяти (Long Short-Term Memory, LSTM) сначала предварительно обучается на большом исходном корпусе или задаче, а затем её обученные веса переносятся и донастраиваются для меньшей целевой задачи.
Этот подход, популяризированный ULMFiT (Howard & Ruder, 2018), позволяет моделям на основе LSTM достигать высокой производительности даже при ограниченном объёме размеченных целевых данных.
Интуиция метода
Обучение LSTM с нуля на малом наборе данных рискованно: модель редко усваивает общие языковые или последовательные закономерности и легко переобучается. Трансферное обучение позволяет обойти эту проблему, сначала обучая LSTM на обильных данных — часто с использованием языковой модели на большом текстовом корпусе — так, чтобы её скрытые состояния уже кодировали богатые представления грамматики, контекста и смысла. Когда вы затем донастраиваете эти веса для вашей конкретной задачи, модель быстро адаптируется, поскольку она начинает с гораздо лучшей позиции, чем случайная инициализация, подобно эксперту, которому требуется лишь краткое введение, а не полная программа обучения.
История
Общая концепция трансферного обучения для нейронных сетей была формализована Pan & Yang (2010). Её практическое применение к рекуррентным сетям получило широкое внимание с ULMFiT (Howard & Ruder, 2018), который продемонстрировал, что трёхэтапный режим обучения LSTM — общее языковое моделирование, языковое моделирование целевой области, донастройка классификатора — может соответствовать или превосходить гораздо большие модели с учителем на бенчмарках классификации текста. Успех ULMFiT предшествовал и напрямую повлиял на парадигму предварительного обучения в эпоху трансформеров (BERT, GPT) и остаётся каноническим эталоном для трансферного обучения последовательностей.
Когда применять
Используйте трансферное обучение с LSTM, когда у вас есть задача последовательного моделирования — классификация текста, анализ тональности, распознавание именованных сущностей, прогнозирование временных рядов — но лишь небольшой набор размеченных данных. Это особенно эффективно для задач обработки естественного языка (NLP), где существует предварительно обученная языковая модель для исходного или целевого языка, и когда возможна адаптация к области (неразмеченные тексты целевой области). Избегайте этого, когда ваша последовательная область настолько радикально отличается от корпуса предварительного обучения, что вероятен негативный трансфер, когда требуется интерпретируемость отдельных рекуррентных состояний (предпочитайте более простые модели) или когда доступны альтернативы на основе трансформеров, такие как донастройка BERT, и набор данных текстовый (трансформеры обычно превосходят LSTM в NLP с 2019 года).
Ограничения и замечания
- Трансферные методы на основе трансформеров (BERT, RoBERTa) в значительной степени вытеснили LSTM для задач NLP, часто обеспечивая более высокую точность.
- Обучение LSTM является последовательным и не может быть легко распараллелено, что делает предварительное обучение на очень больших корпусах медленным.
- Может возникнуть негативный трансфер, если исходная и целевая области не совпадают, что снижает производительность ниже базового уровня обучения с нуля.
- Требуется подходящий предварительно обученный чекпойнт LSTM; для редких языков или узкоспециализированных областей такового может не существовать.
- Стабильность донастройки может зависеть от скорости обучения и расписания замораживания, требуя тщательного поиска гиперпараметров.
Условия из источника не заменяют независимую научную проверку или валидацию аналитическим движком.
Сильные стороны
- Резко снижает потребность в размеченных данных по сравнению с обучением с нуля.
- Улавливает долгосрочные последовательные зависимости, которые упускают модели на основе мешка слов и поверхностные модели.
- Предварительно обученные веса обеспечивают сильную инициализацию, приводящую к более быстрой сходимости и лучшей обобщающей способности.
- Применимо как к NLP, так и к нелингвистическим последовательным данным (временные ряды, речь, геномика).
- Постепенное размораживание и дискриминативные скорости обучения (ULMFiT) обеспечивают контролируемую донастройку.
- Интерпретируемые промежуточные представления по сравнению со многими архитектурами трансформеров.
Применение
- Классификация текста (анализ тональности, категоризация тем, категоризация новостей).
- Распознавание именованных сущностей и разметка последовательностей с ограниченными аннотированными корпусами.
- Обнаружение аномалий и прогнозирование временных рядов, когда доступны предварительно обученные веса от похожих рядов.
- Обработка естественного языка (NLP) в условиях ограниченных ресурсов для языков с ограниченными аннотированными данными, но доступными неразмеченными корпусами.
- Классификация клинических заметок и анализ биомедицинских последовательностей с адаптированными к области чекпойнтами LSTM.
- Моделирование последовательностей речи и аудио, когда доступно предварительное акустическое обучение.
Как это работает
Как это работает
LSTM обучается на большом исходном наборе данных с использованием общей цели, чаще всего языкового моделирования (предсказание следующего токена). Этот этап обучает сеть общим представлениям последовательностей — синтаксической структуре, распространённым совместным встречаемостям, долгосрочным зависимостям — без какой-либо специфичной для задачи разметки. Полученные веса служат инициализацией для последующих задач.
Перед донастройкой на размеченной целевой задаче предварительно обученная LSTM опционально адаптируется к целевой области путём продолжения обучения языковой модели на неразмеченных текстах целевой области. Этот шаг адаптации к области, использованный в ULMFiT, сужает разрыв в лексике и стиле между исходным и целевым корпусами, часто принося значительный прирост точности при низких затратах.
Чтобы избежать разрушения предварительно обученных представлений, слои обычно сначала замораживаются, а затем постепенно размораживаются, начиная сверху (специфичные для задачи) и двигаясь вниз (общие). ULMFiT представил постепенное размораживание и дискриминативную донастройку, при которой нижние слои получают меньшие скорости обучения, чем верхние слои, защищая универсальные признаки и одновременно позволяя адаптацию к конкретной задаче.
Поверх LSTM добавляется специфичный для задачи блок (например, классификатор softmax для классификации текста или регрессионный слой для предсказания значения по последовательности). Затем вся сеть — или размороженная часть — обучается сквозным образом на размеченных целевых данных с использованием малой скорости обучения и часто с применением скользящего треугольного расписания скорости обучения для стабилизации сходимости.
Производительность оценивается на отложенном тестовом наборе с использованием подходящих для задачи метрик (точность, F1, AUC для классификации; RMSE или MAE для регрессии). Поскольку в типичных сценариях трансферного обучения размеченные данные редки, настоятельно рекомендуется стратифицированная k-кратная перекрёстная проверка. Сравнение с базовой моделью LSTM, обученной с нуля, количественно определяет выигрыш от трансфера.
Частые ошибки
- Использование одинаковой высокой скорости обучения для всех слоев во время донастройки, что приводит к катастрофическому забыванию предварительно обученных представлений.
- Пропуск адаптации к области, когда целевая область заметно отличается от корпуса предварительного обучения.
- Оценка только на тестовом наборе и отчётность о точности внутри выборки как окончательном результате.
- Игнорирование дисбаланса классов в целевой задаче без перевзвешивания или сверхвыборки.
- Выбор трансфера LSTM, когда доступен предварительно обученный трансформер для того же языка или области — альтернативные издержки значительны.
Часто задаваемые вопросы
Когда следует предпочесть трансферное обучение LSTM донастройке BERT?
Предпочитайте трансфер LSTM для нетекстовых последовательных данных (временные ряды, речь, геномика) или когда вычислительные ресурсы сильно ограничены, поскольку LSTM легче, чем большие трансформеры. Для стандартных задач NLP с английским текстом модели семейства BERT почти всегда превосходят LSTM и должны использоваться по умолчанию.
Сколько слоев следует заморозить в начале донастройки?
Общая стратегия (из ULMFiT) заключается в том, чтобы сначала заморозить все слои, кроме верхнего классификационного блока, затем постепенно размораживать по одному слою сверху вниз в течение эпох. Это защищает универсальные представления нижних слоев, одновременно адаптируя признаки более высокого уровня к целевой задаче.
Что делать, если для моей области или языка нет предварительно обученной LSTM?
Вы можете предварительно обучить свою собственную языковую модель LSTM на любом большом неразмеченном корпусе в вашей области или языке. Даже относительно небольшой корпус области (несколько миллионов токенов) даёт лучшую инициализацию, чем случайные веса, особенно для специализированной терминологии.
Можно ли применить это к временным рядам, а не только к тексту?
Да. Трансферное обучение с LSTM хорошо зарекомендовало себя для временных рядов: сеть, предварительно обученная на большой коллекции связанных последовательностей (например, потребление электроэнергии или ЭКГ-сигналы), может быть донастроена на меньшей целевой последовательности, часто превосходя базовые модели LSTM, обученные с нуля, при гораздо меньшем объёме целевых данных.
Как узнать, происходит ли негативный трансфер?
Сравните производительность донастроенной модели с базовой моделью LSTM, обученной только на целевых данных. Если перенесенная модель работает хуже, вероятно, происходит негативный трансфер. Средствами устранения могут быть ограничение донастройки только верхними слоями, использование меньшей скорости обучения или выбор корпуса предварительного обучения, который более точно соответствует целевой области.
Похожие методы
Источники
Howard, J. & Ruder, S. (2018). Universal Language Model Fine-Tuning for Text Classification. Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (ACL), 328–339.
Открыть ссылку DOIСкопировано.Transfer learning. Wikipedia.
Открыть ссылку на публикациюСкопировано.