LSTM
- Introdotto da
- Hochreiter, S. & Schmidhuber, J.
- Anno
- 1997
- Tipo
- Recurrent neural network (gated memory cell)
Questo testo è una traduzione automatica e non è ancora stato revisionato. Leggi l’originale in inglese
A cosa serve?
LSTM (Long Short-Term Memory) è un'architettura di rete neurale ricorrente, introdotta da Sepp Hochreiter e Jürgen Schmidhuber nel 1997, in grado di apprendere dipendenze a lungo termine nei dati sequenziali ed è ampiamente utilizzata per la previsione di serie temporali e sequenze.
Mantiene una memoria interna che consente alle informazioni di persistere attraverso molti passi temporali.
L’intuizione alla base del metodo
Le reti ricorrenti ordinarie faticano a trasportare informazioni attraverso lunghe sequenze perché il segnale di apprendimento svanisce quanto più indietro deve raggiungere. LSTM risolve questo problema fornendo a ciascuna unità una cella di memoria che può mantenere un valore nel tempo, più porte che decidono cosa ricordare, cosa dimenticare e cosa trasmettere. La rete può quindi collegare eventi distanti in una sequenza, che è esattamente ciò che richiedono i problemi di serie temporali e sequenziali.
Storia
LSTM è stato introdotto da Sepp Hochreiter e Jürgen Schmidhuber nel 1997 per superare il problema del gradiente evanescente che impediva alle reti ricorrenti precedenti di apprendere dipendenze a lungo raggio. La sua cella di memoria filtrata è diventata una pietra angolare della modellazione di sequenze e una scelta standard per i task di previsione di serie temporali e sequenze prima dell'emergere delle architetture basate sull'attenzione.
Quando usarlo
Adatta per la previsione e la predizione su sequenze continue o indicizzate per data con una struttura di serie temporali o longitudinale, quando i pattern temporali a lungo raggio sono importanti e è disponibile un dataset ampio (circa 500 osservazioni o più). Gli input devono essere normalizzati e l'accelerazione GPU è raccomandata. Su campioni più piccoli la rete va in overfitting, quindi modelli più semplici come Random Forest (sotto 500) o XGBoost (sotto 200) sono più sicuri.
Limiti e considerazioni
- Necessita di un dataset ampio (circa 500 osservazioni o più) per addestrarsi in modo affidabile.
- Va in overfitting su campioni piccoli, dove modelli di machine learning più semplici generalizzano meglio.
- Gli input devono essere normalizzati prima dell'addestramento, aggiungendo un passaggio di pre-elaborazione obbligatorio.
- Computazionalmente pesante; l'accelerazione GPU è fortemente preferita per un addestramento pratico.
Le condizioni della fonte non sostituiscono una revisione scientifica indipendente né la validazione da parte di un motore di analisi.
Punti di forza
- Apprende dipendenze a lungo termine nei dati sequenziali che le reti ricorrenti ordinarie perdono.
- Ben adatta per previsioni di serie temporali e longitudinali e predizione di sequenze.
- Assunzione-leggera sulla distribuzione: non richiede dati distribuiti normalmente.
- Gestisce nativamente input di sequenze continue e indicizzate per data.
Applicazioni
- Previsione di serie temporali su dati continui o indicizzati per data.
- Predizione di sequenze in cui contano i pattern temporali a lungo raggio.
- Modellazione di dati longitudinali con dipendenze che si estendono su molti passi temporali.
- Task predittivi su grandi dataset sequenziali in cui la memoria temporale è essenziale.
Come funziona
Come funziona
Ogni unità LSTM trasporta una cella di memoria il cui stato scorre in avanti attraverso la sequenza. Questa cella agisce come un nastro trasportatore per le informazioni, consentendo ai segnali rilevanti di persistere attraverso molti passi temporali invece di decadere dopo uno o due, il che consente alla rete di apprendere dipendenze a lungo termine.
Le porte regolano il flusso in entrata e in uscita dalla cella di memoria: una porta decide quanta parte dello stato passato conservare, una decide quali nuove informazioni scrivere e una decide cosa leggere come risposta dell'unità. Apprendendo queste porte dai dati, la rete controlla la memoria su lunghe sequenze piuttosto che esserne sopraffatta.
Man mano che la sequenza viene elaborata passo dopo passo, lo stato nascosto filtrato ad ogni passo alimenta uno strato di output che produce la previsione — ad esempio il valore successivo in una serie temporale. Poiché gli input devono essere normalizzati e la rete è ampia, l'addestramento richiede un dataset considerevole (circa 500 o più osservazioni) e idealmente un'accelerazione GPU.
Formula
\hat{y}_t = f(h_t)Errori comuni
- Fornire input non normalizzati, che destabilizza l'addestramento.
- Addestrare su meno di circa 500 osservazioni e fidarsi del risultato invece di ricorrere a un modello più semplice.
- Applicare una rete ricorrente profonda a un campione molto piccolo dove il machine learning classico sarebbe sufficiente.
- Ignorare l'overfitting e riportare l'adattamento in-sample come se fosse una performance predittiva.
Domande frequenti
Quanti dati necessita un LSTM?
È destinato a dataset ampi — circa 500 osservazioni o più. Al di sotto di tale soglia la rete tende all'overfitting e generalizza male, quindi un modello più semplice come Random Forest è il fallback raccomandato, e al di sotto di circa 200 osservazioni XGBoost è una scelta migliore.
Devo normalizzare gli input?
Sì. La normalizzazione è un passaggio di pre-elaborazione obbligatorio per LSTM; input non scalati destabilizzano l'addestramento e degradano il risultato.
Cosa rende LSTM diverso da una rete ricorrente semplice?
LSTM aggiunge una cella di memoria e porte che controllano cosa ricordare, dimenticare e generare. Ciò gli consente di trasportare informazioni attraverso lunghe sequenze e apprendere dipendenze a lungo termine che una rete ricorrente semplice perde a causa dei gradienti evanescenti.
È richiesta una GPU?
Non è strettamente richiesta, ma l'accelerazione GPU è fortemente preferita perché l'addestramento di LSTM su grandi dataset sequenziali è computazionalmente pesante.
Metodi correlati
Fonti
Hochreiter, S. & Schmidhuber, J. (1997). Long Short-Term Memory. Neural Computation, 9(8), 1735–1780.
Apri il riferimento DOICopiato.