LSTM
- Proposto por
- Hochreiter, S. & Schmidhuber, J.
- Ano
- 1997
- Tipo
- Recurrent neural network (gated memory cell)
Este texto é uma tradução automática e ainda não foi revisado. Ler o original em inglês
O que ele faz?
LSTM (Long Short-Term Memory) é uma arquitetura de rede neural recorrente, introduzida por Sepp Hochreiter e Jürgen Schmidhuber em 1997, que pode aprender dependências de longo prazo em dados sequenciais e é amplamente utilizada para previsão de séries temporais e sequências.
Ela mantém uma memória interna que permite que a informação persista por muitos passos de tempo.
A intuição por trás do método
Redes recorrentes comuns lutam para carregar informação através de sequências longas porque o sinal de aprendizado se desvanece quanto mais para trás ele precisa alcançar. LSTM resolve isso dando a cada unidade uma célula de memória que pode manter um valor ao longo do tempo, mais portões (gates) que decidem o que lembrar, o que esquecer e o que passar adiante. A rede pode, portanto, conectar eventos que estão distantes em uma sequência, o que é exatamente o que problemas de séries temporais e sequências exigem.
História
LSTM foi introduzida por Sepp Hochreiter e Jürgen Schmidhuber em 1997 para superar o problema do gradiente evanescente que impedia redes recorrentes anteriores de aprender dependências de longo alcance. Sua célula de memória com portões tornou-se um pilar da modelagem de sequências e uma escolha padrão para tarefas de previsão de séries temporais e sequências antes do surgimento de arquiteturas baseadas em atenção.
Quando usar
Adequado para previsão e projeção em sequências contínuas ou indexadas por data com estrutura de série temporal ou longitudinal, quando padrões temporais de longo alcance são importantes e um grande conjunto de dados (cerca de 500 observações ou mais) está disponível. As entradas devem ser normalizadas e a aceleração por GPU é recomendada. Em amostras menores, a rede sofre overfitting, então modelos mais simples como Random Forest (abaixo de 500) ou XGBoost (abaixo de 200) são mais seguros.
Limitações e considerações
- Necessita de um grande conjunto de dados (cerca de 500 observações ou mais) para treinar de forma confiável.
- Sofre overfitting em amostras pequenas, onde modelos de machine learning mais simples generalizam melhor.
- As entradas devem ser normalizadas antes do treinamento, adicionando uma etapa de pré-processamento obrigatória.
- Computacionalmente pesado; aceleração por GPU é fortemente preferida para treinamento prático.
As condições da fonte não substituem a revisão científica independente nem a validação por um motor de análise.
Pontos fortes
- Aprende dependências de longo prazo em dados sequenciais que redes recorrentes comuns perdem.
- Bem adequado para previsão de séries temporais e longitudinal e previsão de sequências.
- Pouca suposição sobre a distribuição: não requer dados com distribuição normal.
- Lida nativamente com entradas de sequências contínuas e indexadas por data.
Aplicações
- Previsão de séries temporais em dados contínuos ou indexados por data.
- Previsão de sequências onde padrões temporais de longo alcance são importantes.
- Modelagem de dados longitudinais com dependências que abrangem muitos passos de tempo.
- Tarefas preditivas em grandes conjuntos de dados sequenciais onde a memória temporal é essencial.
Como funciona
Como funciona
Cada unidade LSTM carrega uma célula de memória cujo estado avança pela sequência. Esta célula atua como uma esteira transportadora de informação, permitindo que sinais relevantes persistam por muitos passos de tempo em vez de decaírem após um ou dois, o que permite à rede aprender dependências de longo prazo.
Portões regulam o fluxo para dentro e para fora da célula de memória: um portão decide quanta da memória passada manter, um decide que nova informação escrever, e um decide o que ler como resposta da unidade. Ao aprender esses portões a partir dos dados, a rede controla a memória sobre sequências longas em vez de ser sobrecarregada por ela.
À medida que a sequência é processada passo a passo, o estado oculto (hidden state) com portões em cada passo alimenta uma camada de saída que produz a previsão — por exemplo, o próximo valor em uma série temporal. Como as entradas devem ser normalizadas e a rede é grande, o treinamento requer um conjunto de dados considerável (cerca de 500 ou mais observações) e, idealmente, aceleração por GPU.
Fórmula
\hat{y}_t = f(h_t)Erros comuns
- Alimentar entradas não normalizadas, o que desestabiliza o treinamento.
- Treinar com menos de cerca de 500 observações e confiar no resultado em vez de recorrer a um modelo mais simples.
- Aplicar uma rede recorrente profunda a uma amostra muito pequena onde o machine learning clássico seria suficiente.
- Ignorar overfitting e relatar ajuste dentro da amostra como se fosse desempenho preditivo.
Perguntas frequentes
Quanta informação um LSTM precisa?
Destina-se a grandes conjuntos de dados — aproximadamente 500 observações ou mais. Abaixo disso, a rede tende a sofrer overfitting e generaliza mal, então um modelo mais simples como Random Forest é a alternativa recomendada, e abaixo de cerca de 200 observações, XGBoost é uma escolha melhor.
Eu preciso normalizar as entradas?
Sim. A normalização é uma etapa de pré-processamento obrigatória para LSTM; entradas não escalonadas desestabilizam o treinamento e degradam o resultado.
O que torna o LSTM diferente de uma rede recorrente simples?
LSTM adiciona uma célula de memória e portões que controlam o que lembrar, esquecer e retornar. Isso permite que ela carregue informação através de sequências longas e aprenda dependências de longo alcance que uma rede recorrente simples perde devido a gradientes evanescentes.
Uma GPU é necessária?
Não é estritamente necessária, mas a aceleração por GPU é fortemente preferida porque o treinamento de LSTM em grandes conjuntos de dados sequenciais é computacionalmente pesado.
Métodos relacionados
Fontes
Hochreiter, S. & Schmidhuber, J. (1997). Long Short-Term Memory. Neural Computation, 9(8), 1735–1780.
Abrir referência DOICopiado.