Skip to content
Torna ai risultati

Long Short-Term Memory (LSTM)

Introdotto da
Hochreiter, S. & Schmidhuber, J.
Anno
1997
Tipo
Recurrent neural network with gated memory cells
Famiglia
Deep learning / NLP / CV

Questo testo è una traduzione automatica e non è ancora stato revisionato. Leggi l’originale in inglese

Dimensione del carattere

A cosa serve?

Long Short-Term Memory (LSTM) è un'architettura di rete neurale ricorrente con gate, introdotta da Hochreiter e Schmidhuber nel 1997.

È stata progettata per apprendere dipendenze attraverso sequenze lunghe utilizzando celle di memoria dedicate e tre gate appresi — forget, input e output — che controllano quali informazioni vengono conservate, aggiornate o passate avanti a ogni passo temporale.

L’intuizione alla base del metodo

Una rete ricorrente standard cerca di trasportare informazioni attraverso il tempo riutilizzando un singolo stato nascosto, ma i gradienti si riducono o esplodono su sequenze lunghe, rendendo quasi impossibile apprendere dipendenze che coprono molti passi. Le LSTM risolvono questo problema con una cella di memoria separata che agisce come un nastro trasportatore: il gate di dimenticanza (forget gate) decide quali vecchie informazioni cancellare, il gate di input (input gate) aggiunge nuove informazioni e il gate di output (output gate) determina cosa la cella rivela al livello successivo. Poiché la cella può trasportare informazioni in gran parte invariate per molti passi, i gradienti fluiscono in modo più affidabile durante l'addestramento, consentendo alla rete di apprendere pattern che coprono frasi, paragrafi o lunghe finestre temporali.

Storia

Hochreiter e Schmidhuber introdussero l'architettura LSTM nel 1997 per affrontare il problema della scomparsa del gradiente che impediva alle RNN standard di apprendere dipendenze a lungo raggio. Nel corso degli anni 2000 rimase una curiosità di ricerca; all'inizio degli anni 2010, grazie al lavoro di Graves e Hinton sul riconoscimento vocale e di Sutskever sull'apprendimento sequenza-a-sequenza, le LSTM divennero l'architettura dominante per i compiti sequenziali. Hanno mantenuto quella posizione fino a quando il Transformer non le ha superate intorno al 2018-2019, sebbene le LSTM rimangano ampiamente utilizzate in contesti di serie temporali e con risorse limitate.

Quando usarlo

La LSTM è ben adatta per compiti in cui l'ordine delle osservazioni è importante e il contesto rilevante può estendersi per molti passi: classificazione del testo, analisi del sentiment, riconoscimento di entità nominate, traduzione automatica, previsione di serie temporali ed elaborazione del parlato. Scegliere la LSTM quando le sequenze sono moderatamente lunghe (da decine a qualche centinaio di passi) e si dispone di dati etichettati sufficienti (tipicamente migliaia di esempi) per apprendere i parametri dei gate. Per sequenze molto lunghe o quando il parallelismo è critico, il Transformer è solitamente preferibile. Per sequenze più brevi o quando la semplicità è importante, un GRU (meno parametri) o un modello pre-addestrato ottimizzato (BERT, RoBERTa) potrebbero essere più appropriati.

Limiti e considerazioni

  • Più lenta da addestrare rispetto ai Transformer poiché il calcolo sequenziale non può essere completamente parallelizzato.
  • Richiede dati etichettati sostanziali; su piccoli set di dati tende all'overfitting nonostante il dropout.
  • Sequenze molto lunghe (centinaia di passi) mettono ancora alla prova le LSTM a causa della capacità limitata della cella.
  • La sintonizzazione degli iperparametri — unità nascoste, livelli, dropout, tasso di apprendimento — può richiedere tempo.
  • Per molti compiti NLP, i modelli Transformer pre-addestrati superano ora le LSTM addestrate da zero.

Le condizioni della fonte non sostituiscono una revisione scientifica indipendente né la validazione da parte di un motore di analisi.

Punti di forza

  • Progettata esplicitamente per catturare dipendenze a lungo raggio senza scomparsa del gradiente.
  • Architettura flessibile: funziona per classificazione di sequenze, etichettatura di token, generazione e previsione.
  • Struttura di gating interpretabile — forget, input e output gates — rispetto ad alternative black-box.
  • Estensione bidirezionale (BiLSTM) raddoppia il contesto elaborando le sequenze in entrambe le direzioni.
  • Ampia gamma di applicazioni comprovate nei domini NLP, del parlato e delle serie temporali.

Applicazioni

  • Classificazione del testo e analisi del sentiment su documenti o recensioni.
  • Etichettatura di sequenze: riconoscimento di entità nominate, etichettatura di parti del discorso.
  • Previsione di serie temporali: prezzi delle azioni, letture di sensori, domanda di energia.
  • Riconoscimento vocale come componente del modello acustico.
  • Traduzione automatica tramite architetture LSTM encoder-decoder.
  • Rilevamento di anomalie in dati sequenziali di log o sensori.

Come funziona

Come funziona

1

A ogni passo temporale, il forget gate riceve lo stato nascosto precedente e l'input corrente, li passa attraverso una sigmoide e produce un valore tra 0 e 1 per ogni elemento dello stato della cella (cell state). Valori vicini a 0 cancellano quell'elemento dalla memoria; valori vicini a 1 lo preservano. Questa cancellazione appresa è ciò che consente alla LSTM di scartare il contesto non più rilevante.

Formula
f_t = \sigma(W_f [h_{t-1}, x_t] + b_f)
2

L'input gate, anch'esso attivato da una sigmoide, decide quali elementi dello stato della cella candidata — calcolato tramite tanh — devono essere scritti nella cella. Insieme, il forget gate e l'input gate consentono alla rete di ricordare selettivamente nuove informazioni scartando quelle obsolete, senza la scomparsa del gradiente che affligge le RNN standard.

Formula
i_t = \sigma(W_i [h_{t-1}, x_t] + b_i),\quad \tilde{c}_t = \tanh(W_c [h_{t-1}, x_t] + b_c)
3

Lo stato della cella viene aggiornato moltiplicando elemento per elemento il vecchio stato della cella per l'output del forget gate, quindi aggiungendo il prodotto elemento per elemento dell'input gate e dello stato della cella candidata. Questo aggiornamento additivo è la ragione principale per cui i gradienti possono fluire all'indietro attraverso molti passi temporali senza scomparire: il percorso attraverso lo stato della cella coinvolge l'addizione piuttosto che la moltiplicazione ripetuta.

Formula
c_t = f_t \odot c_{t-1} + i_t \odot \tilde{c}_t
4

L'output gate controlla quanto dello stato della cella (compresso da tanh) viene esposto come stato nascosto passato al passo temporale successivo e al livello superiore. Questo disaccoppiamento della memoria interna dalla rappresentazione esposta conferisce alla LSTM un'ulteriore flessibilità nei compiti sequenziali.

Formula
o_t = \sigma(W_o [h_{t-1}, x_t] + b_o),\quad h_t = o_t \odot \tanh(c_t)
5

A seconda del compito, la LSTM può restituire lo stato nascosto finale (classificazione di sequenze), tutti gli stati nascosti (etichettatura di sequenze, traduzione) o entrambi. In pratica, l'impilamento di più livelli LSTM e l'aggiunta di dropout tra di essi migliorano la potenza rappresentativa riducendo l'overfitting.

Errori comuni

  • Utilizzo di una LSTM senza padding e masking quando le sequenze variano in lunghezza, causando errori silenziosi dovuti agli zeri di padding.
  • Dimenticare di impostare la rete in modalità di valutazione (disabilitando il dropout) al momento dell'inferenza.
  • Addestramento senza gradient clipping, che può portare a gradienti esplosivi anche nelle LSTM.
  • Riportare solo l'accuratezza su set di dati sequenziali sbilanciati invece di F1 per classe o AUC.
  • Trattare una LSTM unidirezionale come sufficiente per compiti (come NER o predizione mascherata) in cui è disponibile il contesto futuro.

Domande frequenti

Qual è la differenza tra LSTM e GRU?

Un GRU unisce il forget gate e l'input gate in un unico update gate e non ha uno stato di cella separato, il che gli conferisce meno parametri e un addestramento più rapido. Le LSTM tendono a superare leggermente i GRU nei compiti che richiedono una memoria a lungo termine molto precisa, ma la differenza è spesso piccola e dipende dal set di dati.

Dovrei usare una LSTM bidirezionale?

Se il tuo compito consente l'accesso all'intera sequenza prima di effettuare previsioni — classificazione, NER o previsione offline — una BiLSTM migliora tipicamente l'accuratezza incorporando il contesto passato e futuro. Se le previsioni devono essere effettuate in tempo reale (previsione online, streaming), usa una LSTM unidirezionale.

Quando dovrei scegliere un Transformer rispetto a una LSTM?

Per la maggior parte dei moderni compiti NLP con risorse computazionali sufficienti, i Transformer pre-addestrati (BERT, RoBERTa) superano le LSTM addestrate da zero. Scegli una LSTM quando le risorse computazionali o la latenza sono limitate, quando le tue sequenze sono serie temporali numeriche piuttosto che testo, o quando hai dati insufficienti per ottimizzare un modello pre-addestrato di grandi dimensioni.

Come gestisco sequenze di lunghezza variabile?

Effettua il padding delle sequenze più corte a una lunghezza comune, crea una maschera per ignorare i token di padding nel calcolo della loss e utilizza sequenze pacchettizzate (PyTorch) o livelli di masking (Keras/TensorFlow) in modo che le posizioni di padding non influenzino lo stato nascosto.

Quanti livelli LSTM e unità nascoste dovrei usare?

Per la maggior parte dei compiti, da uno a due livelli LSTM impilati con 64-512 unità nascoste è un intervallo di partenza sensato. Più livelli e unità aumentano la capacità ma anche il tempo di addestramento e il rischio di overfitting; usa il dropout tra i livelli e valida con un set tenuto da parte o tramite cross-validation.

Metodi correlati

Fonti

  1. Hochreiter, S. & Schmidhuber, J. (1997). Long short-term memory. Neural Computation, 9(8), 1735–1780.

    Apri il riferimento DOI
    Copiato.
  2. Graves, A., Mohamed, A.-R. & Hinton, G. (2013). Speech recognition with deep recurrent neural networks. Proceedings of ICASSP 2013, pp. 6645–6649. IEEE.

    Apri il riferimento DOI
    Copiato.