Долговременная краткосрочная память (LSTM)
- Автор метода
- Hochreiter, S. & Schmidhuber, J.
- Год
- 1997
- Тип
- Recurrent neural network with gated memory cells
- Семейство
- Deep learning / NLP / CV
Этот текст переведён машинным способом и ещё не проверен. Читать оригинал на английском
Что он делает?
Долговременная краткосрочная память (LSTM) — это архитектура рекуррентной нейронной сети с вентилями, представленная Хохрайтером и Шмидхубером в 1997 году.
Она была разработана для изучения зависимостей в длинных последовательностях с использованием специализированных ячеек памяти и трех обучаемых вентилей — забывания, ввода и вывода — которые контролируют, какая информация сохраняется, обновляется или передается вперед на каждом временном шаге.
Интуиция метода
Простая рекуррентная сеть пытается передавать информацию сквозь время, повторно используя одно скрытое состояние, но градиенты сжимаются или взрываются на длинных последовательностях, что делает практически невозможным изучение зависимостей, охватывающих многие шаги. LSTM решают эту проблему с помощью отдельной ячейки памяти, которая действует как конвейерная лента: вентиль забывания решает, какую старую информацию стереть, вентиль ввода добавляет новую информацию, а вентиль вывода определяет, что ячейка передает следующему слою. Поскольку ячейка может сохранять информацию практически неизменной в течение многих шагов, градиенты надежнее протекают во время обучения, позволяя сети изучать закономерности, охватывающие предложения, абзацы или большие временные окна.
История
Хохрайтер и Шмидхубер представили архитектуру LSTM в 1997 году для решения проблемы исчезающего градиента, которая мешала простым RNN изучать долгосрочные зависимости. В течение 2000-х годов она оставалась предметом исследований; к началу 2010-х годов, благодаря работам Грейвса и Хинтона по распознаванию речи и Суцкевера по обучению последовательностей в последовательности, LSTM стали доминирующей архитектурой для последовательных задач. Они занимали эту позицию до тех пор, пока Трансформер не превзошел их примерно в 2018–2019 годах, хотя LSTM по-прежнему широко используются во временных рядах и в условиях ограниченных ресурсов.
Когда применять
LSTM хорошо подходит для задач, где важен порядок наблюдений и релевантный контекст может охватывать многие шаги: классификация текстов, анализ тональности, распознавание именованных сущностей, машинный перевод, прогнозирование временных рядов и обработка речи. Выбирайте LSTM, когда ваши последовательности умеренно длинные (десятки до нескольких сотен шагов), и у вас достаточно размеченных данных (обычно тысячи примеров) для изучения параметров вентилей. Для очень длинных последовательностей или когда параллелизм критичен, Transformer обычно предпочтительнее. Для более коротких последовательностей или когда важна простота, GRU (меньше параметров) или дообученная предварительно обученная модель (BERT, RoBERTa) могут быть более подходящими.
Ограничения и замечания
- Медленнее обучается, чем Трансформеры, поскольку последовательные вычисления не могут быть полностью распараллелены.
- Требует существенного объема размеченных данных; на малых наборах данных имеет тенденцию к переобучению, несмотря на dropout.
- Очень длинные последовательности (сотни шагов) по-прежнему представляют проблему для LSTM из-за ограниченной емкости ячеек.
- Настройка гиперпараметров — скрытые единицы, слои, dropout, скорость обучения — может быть трудоемкой.
- Для многих задач NLP предварительно обученные модели Трансформеров теперь превосходят LSTM, обученные с нуля.
Условия из источника не заменяют независимую научную проверку или валидацию аналитическим движком.
Сильные стороны
- Явно разработан для захвата долгосрочных зависимостей без исчезновения градиента.
- Гибкая архитектура: работает для классификации последовательностей, маркировки токенов, генерации и прогнозирования.
- Интерпретируемая структура вентилей — забывания, ввода и вывода — по сравнению с альтернативами типа «черный ящик».
- Двунаправленное расширение (BiLSTM) удваивает контекст, обрабатывая последовательности в обоих направлениях.
- Большой объем проверенных приложений в областях NLP, речи и временных рядов.
Применение
- Классификация текстов и анализ тональности документов или отзывов.
- Маркировка последовательностей: распознавание именованных сущностей, тегирование частей речи.
- Прогнозирование временных рядов: цены акций, показания датчиков, потребление энергии.
- Распознавание речи как компонент акустической модели.
- Машинный перевод с использованием архитектур LSTM с кодировщиком-декодировщиком.
- Обнаружение аномалий в последовательных логах или данных датчиков.
Как это работает
Как это работает
На каждом временном шаге вентиль забывания получает предыдущее скрытое состояние и текущий ввод, пропускает их через сигмоиду и производит значение от 0 до 1 для каждого элемента состояния ячейки. Значения, близкие к 0, стирают этот элемент из памяти; значения, близкие к 1, сохраняют его. Это обучаемое стирание позволяет LSTM отбрасывать контекст, который больше не актуален.
Формула
f_t = \sigma(W_f [h_{t-1}, x_t] + b_f)Вентиль ввода, также активируемый сигмоидой, решает, какие элементы кандидатного состояния ячейки — вычисленные с помощью tanh — должны быть записаны в ячейку. Вместе вентили забывания и ввода позволяют сети избирательно запоминать новую информацию, отбрасывая устаревшую, без исчезновения градиента, которое поражает обычные RNN.
Формула
i_t = \sigma(W_i [h_{t-1}, x_t] + b_i),\quad \tilde{c}_t = \tanh(W_c [h_{t-1}, x_t] + b_c)Состояние ячейки обновляется путем поэлементного умножения старого состояния ячейки на выход вентиля забывания, а затем добавления поэлементного произведения вентиля ввода и кандидатного состояния ячейки. Это аддитивное обновление является ключевой причиной, по которой градиенты могут протекать назад через многие временные шаги без исчезновения: путь через состояние ячейки включает сложение, а не многократное умножение.
Формула
c_t = f_t \odot c_{t-1} + i_t \odot \tilde{c}_tВентиль вывода контролирует, какая часть (сжатого tanh) состояния ячейки передается в качестве скрытого состояния следующему временному шагу и вышележащему слою. Это разделение внутренней памяти от видимого представления дает LSTM дополнительную гибкость в задачах последовательностей.
Формула
o_t = \sigma(W_o [h_{t-1}, x_t] + b_o),\quad h_t = o_t \odot \tanh(c_t)В зависимости от задачи, LSTM может возвращать конечное скрытое состояние (классификация последовательностей), все скрытые состояния (маркировка последовательностей, перевод) или оба. На практике, наложение нескольких слоев LSTM и добавление между ними dropout улучшает репрезентативную мощность при одновременном снижении переобучения.
Частые ошибки
- Использование LSTM без дополнения (padding) и маскирования, когда последовательности имеют разную длину, что приводит к скрытым ошибкам из-за дополненных нулей.
- Забывание установить сеть в режим оценки (отключение dropout) во время инференса.
- Обучение без обрезки градиента (gradient clipping), что может привести к взрыву градиентов даже в LSTM.
- Отчетность только об точности на несбалансированных наборах данных последовательностей вместо F1 или AUC для каждого класса.
- Рассмотрение однонаправленной LSTM как достаточной для задач (таких как NER или маскированное предсказание), где доступен будущий контекст.
Часто задаваемые вопросы
В чем разница между LSTM и GRU?
GRU объединяет вентили забывания и ввода в один вентиль обновления и не имеет отдельного состояния ячейки, что дает ему меньше параметров и более быстрое обучение. LSTM, как правило, немного превосходят GRU в задачах, требующих очень точной долговременной памяти, но разница часто невелика и зависит от набора данных.
Следует ли использовать двунаправленную LSTM?
Если ваша задача позволяет получить доступ ко всей последовательности перед принятием решений — классификация, NER или офлайн-прогнозирование — BiLSTM обычно повышает точность, включая как прошлый, так и будущий контекст. Если решения должны приниматься в реальном времени (онлайн-прогнозирование, потоковая передача), используйте однонаправленную LSTM.
Когда следует выбирать Трансформер вместо LSTM?
Для большинства современных задач NLP с достаточными вычислительными ресурсами предварительно обученные Трансформеры (BERT, RoBERTa) превосходят LSTM, обученные с нуля. Выбирайте LSTM, когда ограничены вычислительные ресурсы или задержка, когда ваши последовательности являются числовыми временными рядами, а не текстом, или когда у вас слишком мало данных для дообучения большой предварительно обученной модели.
Как обрабатывать последовательности переменной длины?
Дополните более короткие последовательности до общей длины, создайте маску для игнорирования дополненных токенов при вычислении потерь и используйте упакованные последовательности (PyTorch) или маскирующие слои (Keras/TensorFlow), чтобы дополненные позиции не влияли на скрытое состояние.
Сколько слоев LSTM и скрытых единиц следует использовать?
Для большинства задач разумным начальным диапазоном является один-два наложенных слоя LSTM с 64–512 скрытыми единицами. Большее количество слоев и единиц увеличивает емкость, но также и время обучения, и риск переобучения; используйте dropout между слоями и проверяйте на отложенном наборе или с помощью кросс-валидации.
Похожие методы
Источники
Hochreiter, S. & Schmidhuber, J. (1997). Long short-term memory. Neural Computation, 9(8), 1735–1780.
Открыть ссылку DOIСкопировано.Graves, A., Mohamed, A.-R. & Hinton, G. (2013). Speech recognition with deep recurrent neural networks. Proceedings of ICASSP 2013, pp. 6645–6649. IEEE.
Открыть ссылку DOIСкопировано.