Skip to content
Назад к результатам поиска

LSTM

Автор метода
Hochreiter, S. & Schmidhuber, J.
Год
1997
Тип
Recurrent neural network (gated memory cell)

Этот текст переведён машинным способом и ещё не проверен. Читать оригинал на английском

Размер шрифта

Что он делает?

LSTM (Long Short-Term Memory) — это архитектура рекуррентной нейронной сети, представленная Зеппом Хохрайтером и Юргеном Шмидхубером в 1997 году, способная изучать долгосрочные зависимости в последовательных данных и широко используемая для прогнозирования временных рядов и последовательностей.

Она поддерживает внутреннюю память, позволяющую информации сохраняться на протяжении многих временных шагов.

Интуиция метода

Обычные рекуррентные сети испытывают трудности с передачей информации через длинные последовательности, поскольку сигнал обучения затухает по мере того, как ему приходится достигать более ранних этапов. LSTM решает эту проблему, предоставляя каждому узлу ячейку памяти, которая может хранить значение во времени, а также вентили (gates), которые решают, что запоминать, что забывать и что передавать дальше. Таким образом, сеть может связывать события, находящиеся далеко друг от друга в последовательности, что именно и требуется для задач анализа временных рядов и последовательностей.

История

LSTM была представлена Зеппом Хохрайтером и Юргеном Шмидхубером в 1997 году для преодоления проблемы затухающих градиентов, которая мешала более ранним рекуррентным сетям изучать долгосрочные зависимости. Ее ячейка памяти с вентилями стала краеугольным камнем моделирования последовательностей и стандартным выбором для задач анализа временных рядов и предсказания последовательностей до появления архитектур на основе внимания.

Когда применять

Хорошо подходит для прогнозирования и предсказания на непрерывных или индексированных по дате последовательностях со структурой временного ряда или продольной структурой, когда важны долгосрочные временные закономерности и имеется большой набор данных (около 500 наблюдений или более). Входные данные должны быть нормализованы, и рекомендуется ускорение на GPU. На меньших выборках сеть переобучается, поэтому более простые модели, такие как Random Forest (менее 500) или XGBoost (менее 200), являются более безопасными.

Ограничения и замечания

  • Требует большого набора данных (около 500 наблюдений или более) для надежного обучения.
  • Переобучается на малых выборках, где более простые модели машинного обучения обобщают лучше.
  • Входные данные должны быть нормализованы перед обучением, что добавляет обязательный шаг предварительной обработки.
  • Вычислительно затратна; ускорение на GPU настоятельно рекомендуется для практического обучения.

Условия из источника не заменяют независимую научную проверку или валидацию аналитическим движком.

Сильные стороны

  • Изучает долгосрочные зависимости в последовательных данных, которые теряются в обычных рекуррентных сетях.
  • Хорошо подходит для прогнозирования временных рядов и продольных данных, а также для предсказания последовательностей.
  • Мало предположений о распределении: не требует нормально распределенных данных.
  • Обрабатывает непрерывные и индексированные по дате входные последовательности нативно.

Применение

  • Прогнозирование временных рядов на непрерывных или индексированных по дате данных.
  • Предсказание последовательностей, где важны долгосрочные временные закономерности.
  • Моделирование продольных данных с зависимостями, охватывающими многие временные шаги.
  • Предсказательные задачи на больших последовательных наборах данных, где временная память имеет решающее значение.

Как это работает

Как это работает

1

Каждый узел LSTM содержит ячейку памяти, состояние которой передается вперед по последовательности. Эта ячейка действует как конвейер для информации, позволяя релевантным сигналам сохраняться на протяжении многих временных шагов, вместо того чтобы затухать после одного-двух, что и позволяет сети изучать долгосрочные зависимости.

2

Вентили регулируют поток в ячейку памяти и из нее: один вентиль определяет, какую часть прошлого состояния сохранить, другой — какую новую информацию записать, а третий — что считать выходным сигналом узла. Изучая эти вентили на основе данных, сеть контролирует память на длинных последовательностях, вместо того чтобы быть ею перегруженной.

3

По мере обработки последовательности шаг за шагом, скрытое состояние с вентилями на каждом шаге подается на выходной слой, который производит прогноз — например, следующее значение во временном ряду. Поскольку входные данные должны быть нормализованы, а сеть велика, для обучения требуется значительный набор данных (около 500 или более наблюдений) и, в идеале, ускорение на GPU.

Формула
\hat{y}_t = f(h_t)

Частые ошибки

  • Подача ненормализованных входных данных, что дестабилизирует обучение.
  • Обучение на менее чем 500 наблюдениях и доверие результату вместо перехода к более простой модели.
  • Применение глубокой рекуррентной сети к очень малой выборке, где было бы достаточно классического машинного обучения.
  • Игнорирование переобучения и представление подгонки в пределах выборки как предсказательной производительности.

Часто задаваемые вопросы

Сколько данных нужно LSTM?

Она предназначена для больших наборов данных — примерно 500 наблюдений или более. При меньшем количестве сеть склонна к переобучению и плохо обобщает, поэтому рекомендуется более простая модель, такая как Random Forest, а при менее чем 200 наблюдениях XGBoost является лучшим выбором.

Нужно ли нормализовать входные данные?

Да. Нормализация является обязательным шагом предварительной обработки для LSTM; не масштабированные входные данные дестабилизируют обучение и ухудшают результат.

Чем LSTM отличается от обычной рекуррентной сети?

LSTM добавляет ячейку памяти и вентили, которые контролируют, что запоминать, забывать и выводить. Это позволяет ей передавать информацию через длинные последовательности и изучать долгосрочные зависимости, которые обычная рекуррентная сеть теряет из-за затухающих градиентов.

Требуется ли GPU?

Строго не требуется, но ускорение на GPU настоятельно рекомендуется, поскольку обучение LSTM на больших последовательных наборах данных является вычислительно затратным.

Похожие методы

Источники

  1. Hochreiter, S. & Schmidhuber, J. (1997). Long Short-Term Memory. Neural Computation, 9(8), 1735–1780.

    Открыть ссылку DOI
    Скопировано.