Skip to content
Voltar aos resultados

Long Short-Term Memory (LSTM)

Proposto por
Hochreiter, S. & Schmidhuber, J.
Ano
1997
Tipo
Recurrent neural network with gated memory cells
Família
Deep learning / NLP / CV

Este texto é uma tradução automática e ainda não foi revisado. Ler o original em inglês

Tamanho da fonte

O que ele faz?

Long Short-Term Memory (LSTM) é uma arquitetura de rede neural recorrente com portões introduzida por Hochreiter e Schmidhuber em 1997.

Foi projetada para aprender dependências em sequências longas utilizando células de memória dedicadas e três portões aprendidos — esquecimento, entrada e saída — que controlam qual informação é retida, atualizada ou passada adiante a cada passo de tempo.

A intuição por trás do método

Uma rede recorrente simples tenta carregar informação através do tempo reutilizando um único estado oculto, mas gradientes encolhem ou explodem em sequências longas, tornando quase impossível aprender dependências que abrangem muitos passos. LSTMs resolvem isso com uma célula de memória separada que age como uma esteira transportadora: o portão de esquecimento decide qual informação antiga apagar, o portão de entrada adiciona nova informação e o portão de saída determina o que a célula revela para a próxima camada. Como a célula pode carregar informação largamente inalterada por muitos passos, gradientes fluem mais confiavelmente durante o treinamento, permitindo que a rede aprenda padrões que abrangem sentenças, parágrafos ou longas janelas de tempo.

História

Hochreiter e Schmidhuber introduziram a arquitetura LSTM em 1997 para resolver o problema do desaparecimento de gradiente que impedia RNNs simples de aprender dependências de longo alcance. Durante os anos 2000, permaneceu uma curiosidade de pesquisa; no início dos anos 2010, impulsionado por trabalhos de Graves e Hinton em reconhecimento de fala e de Sutskever em aprendizado de sequência para sequência, LSTMs tornaram-se a arquitetura dominante para tarefas sequenciais. Eles mantiveram essa posição até o Transformer superá-los por volta de 2018–2019, embora LSTMs permaneçam amplamente utilizados em séries temporais e ambientes com recursos limitados.

Quando usar

LSTM é bem adequado para tarefas onde a ordem das observações importa e o contexto relevante pode abranger muitos passos: classificação de texto, análise de sentimento, reconhecimento de entidade nomeada, tradução automática, previsão de séries temporais e processamento de fala. Escolha LSTM quando suas sequências forem moderadamente longas (dezenas a algumas centenas de passos) e você tiver dados rotulados suficientes (tipicamente milhares de exemplos) para aprender os parâmetros dos portões. Para sequências muito longas ou quando o paralelismo é crítico, o Transformer é geralmente preferível. Para sequências mais curtas ou quando a simplicidade importa, um GRU (menos parâmetros) ou um modelo pré-treinado ajustado (BERT, RoBERTa) podem ser mais apropriados.

Limitações e considerações

  • Mais lento para treinar do que Transformers porque o cálculo sequencial não pode ser totalmente paralelizado.
  • Requer dados rotulados substanciais; em conjuntos de dados pequenos, tende a sofrir overfitting apesar do dropout.
  • Sequências muito longas (centenas de passos) ainda desafiam LSTMs devido à capacidade limitada da célula.
  • Ajuste de hiperparâmetros — unidades ocultas, camadas, dropout, taxa de aprendizado — pode ser demorado.
  • Para muitas tarefas de PNL, modelos Transformer pré-treinados agora superam LSTMs treinados do zero.

As condições da fonte não substituem a revisão científica independente nem a validação por um motor de análise.

Pontos fortes

  • Projetado explicitamente para capturar dependências de longo alcance sem desaparecimento de gradiente.
  • Arquitetura flexível: funciona para classificação de sequência, rotulagem de token, geração e previsão.
  • Estrutura de portões interpretável — portões de esquecimento, entrada e saída — em relação a alternativas de caixa-preta.
  • Extensão bidirecional (BiLSTM) dobra o contexto processando sequências em ambas as direções.
  • Grande corpo de aplicações comprovadas em domínios de PNL, fala e séries temporais.

Aplicações

  • Classificação de texto e análise de sentimento em documentos ou avaliações.
  • Rotulagem de sequência: reconhecimento de entidade nomeada, etiquetagem de classe gramatical.
  • Previsão de séries temporais: preços de ações, leituras de sensores, demanda de energia.
  • Reconhecimento de fala como componente de modelo acústico.
  • Tradução automática via arquiteturas LSTM codificador-decodificador.
  • Detecção de anomalias em dados sequenciais de log ou sensores.

Como funciona

Como funciona

1

A cada passo de tempo, o portão de esquecimento recebe o estado oculto anterior e a entrada atual, passa-os por uma sigmoide e produz um valor entre 0 e 1 para cada elemento do estado da célula. Valores próximos de 0 apagam aquele elemento da memória; valores próximos de 1 o preservam. Este apagamento aprendido é o que permite ao LSTM descartar contexto que não é mais relevante.

Fórmula
f_t = \sigma(W_f [h_{t-1}, x_t] + b_f)
2

O portão de entrada, também ativado por sigmoide, decide quais elementos do estado candidato da célula — computado via tanh — devem ser escritos na célula. Juntos, os portões de esquecimento e de entrada permitem que a rede lembre seletivamente de nova informação enquanto descarta informação obsoleta, sem o desaparecimento de gradiente que aflige RNNs simples.

Fórmula
i_t = \sigma(W_i [h_{t-1}, x_t] + b_i),\quad \tilde{c}_t = \tanh(W_c [h_{t-1}, x_t] + b_c)
3

O estado da célula é atualizado multiplicando elemento a elemento o estado antigo da célula pela saída do portão de esquecimento, e então adicionando o produto elemento a elemento do portão de entrada e o estado candidato da célula. Esta atualização aditiva é a razão chave pela qual gradientes podem fluir para trás através de muitos passos de tempo sem desaparecer: o caminho através do estado da célula envolve adição em vez de multiplicação repetida.

Fórmula
c_t = f_t \odot c_{t-1} + i_t \odot \tilde{c}_t
4

O portão de saída controla quanta parte do estado da célula (comprimido por tanh) é exposta como o estado oculto passado para o próximo passo de tempo e para a camada acima. Este desacoplamento da memória interna da representação exposta confere ao LSTM flexibilidade adicional em tarefas de sequenciamento.

Fórmula
o_t = \sigma(W_o [h_{t-1}, x_t] + b_o),\quad h_t = o_t \odot \tanh(c_t)
5

Dependendo da tarefa, o LSTM pode retornar o estado oculto final (classificação de sequência), todos os estados ocultos (rotulagem de sequência, tradução) ou ambos. Na prática, empilhar múltiplas camadas LSTM e adicionar dropout entre elas melhora o poder representacional enquanto reduz o overfitting.

Erros comuns

  • Usar um LSTM sem padding e mascaramento quando sequências variam em comprimento, causando erros silenciosos de zeros de padding.
  • Esquecer de definir a rede para o modo de avaliação (desabilitando dropout) no tempo de inferência.
  • Treinar sem clipping de gradiente, o que pode levar a gradientes explosivos mesmo em LSTMs.
  • Relatar apenas acurácia em conjuntos de dados de sequência desbalanceados em vez de F1 por classe ou AUC.
  • Tratar um LSTM unidirecional como suficiente para tarefas (como NER ou predição mascarada) onde o contexto futuro está disponível.

Perguntas frequentes

Qual é a diferença entre LSTM e GRU?

Um GRU mescla os portões de esquecimento e entrada em um único portão de atualização e não possui um estado de célula separado, o que lhe confere menos parâmetros e treinamento mais rápido. LSTMs tendem a superar ligeiramente os GRUs em tarefas que exigem memória de longo prazo muito precisa, mas a diferença é frequentemente pequena e dependente do conjunto de dados.

Devo usar um LSTM bidirecional?

Se sua tarefa permite acesso à sequência completa antes de fazer previsões — classificação, NER ou previsão offline — um BiLSTM geralmente melhora a acurácia incorporando contexto passado e futuro. Se as previsões devem ser feitas em tempo real (previsão online, streaming), use um LSTM unidirecional.

Quando devo escolher um Transformer em vez de um LSTM?

Para a maioria das tarefas modernas de PNL com computação suficiente, Transformers pré-treinados (BERT, RoBERTa) superam LSTMs treinados do zero. Escolha um LSTM quando a computação ou a latência forem limitadas, quando suas sequências forem séries temporais numéricas em vez de texto, ou quando você tiver dados insuficientes para ajustar um modelo pré-treinado grande.

Como lidar com sequências de comprimento variável?

Preencha sequências mais curtas até um comprimento comum, crie uma máscara para ignorar tokens de padding no cálculo da perda e use sequências empacotadas (PyTorch) ou camadas de mascaramento (Keras/TensorFlow) para que posições preenchidas não afetem o estado oculto.

Quantas camadas LSTM e unidades ocultas devo usar?

Para a maioria das tarefas, uma a duas camadas LSTM empilhadas com 64–512 unidades ocultas é uma faixa inicial sensata. Mais camadas e unidades aumentam a capacidade, mas também o tempo de treinamento e o risco de overfitting; use dropout entre as camadas e valide com um conjunto separado ou validação cruzada.

Métodos relacionados

Fontes

  1. Hochreiter, S. & Schmidhuber, J. (1997). Long short-term memory. Neural Computation, 9(8), 1735–1780.

    Abrir referência DOI
    Copiado.
  2. Graves, A., Mohamed, A.-R. & Hinton, G. (2013). Speech recognition with deep recurrent neural networks. Proceedings of ICASSP 2013, pp. 6645–6649. IEEE.

    Abrir referência DOI
    Copiado.