LSTM
- Propuesto por
- Hochreiter, S. & Schmidhuber, J.
- Año
- 1997
- Tipo
- Recurrent neural network (gated memory cell)
Este texto es una traducción automática y aún no se ha revisado. Leer el original en inglés
¿Qué hace?
LSTM (Long Short-Term Memory) es una arquitectura de red neuronal recurrente, introducida por Sepp Hochreiter y Jürgen Schmidhuber en 1997, que puede aprender dependencias a largo plazo en datos secuenciales y se utiliza ampliamente para la predicción de series temporales y secuencias.
Mantiene una memoria interna que permite que la información persista a lo largo de muchos pasos temporales.
La intuición detrás del método
Las redes recurrentes ordinarias tienen dificultades para transportar información a través de secuencias largas porque la señal de aprendizaje se desvanece cuanto más atrás tiene que llegar. LSTM lo resuelve dotando a cada unidad de una celda de memoria que puede mantener un valor a lo largo del tiempo, además de compuertas (gates) que deciden qué recordar, qué olvidar y qué transmitir. Por lo tanto, la red puede conectar eventos que están muy separados en una secuencia, que es exactamente lo que exigen los problemas de series temporales y secuencias.
Historia
LSTM fue introducida por Sepp Hochreiter y Jürgen Schmidhuber en 1997 para superar el problema del gradiente desvaneciente (vanishing-gradient) que impedía a las redes recurrentes anteriores aprender dependencias a largo alcance. Su celda de memoria con compuertas se convirtió en una piedra angular de la modelización de secuencias y una opción estándar para tareas de predicción de series temporales y secuencias antes de que surgieran las arquitecturas basadas en atención.
Cuándo usarlo
Adecuado para pronósticos y predicciones en secuencias continuas o indexadas por fecha con una estructura de series temporales o longitudinal, cuando los patrones temporales a largo plazo son importantes y se dispone de un gran conjunto de datos (aproximadamente 500 observaciones o más). Las entradas deben normalizarse y se recomienda la aceleración por GPU. En muestras más pequeñas, la red sufre sobreajuste (overfitting), por lo que modelos más simples como Random Forest (menos de 500) o XGBoost (menos de 200) son más seguros.
Limitaciones y consideraciones
- Necesita un gran conjunto de datos (aproximadamente 500 observaciones o más) para entrenar de forma fiable.
- Sufre sobreajuste en muestras pequeñas, donde los modelos de aprendizaje automático más simples generalizan mejor.
- Las entradas deben normalizarse antes del entrenamiento, lo que añade un paso de preprocesamiento obligatorio.
- Computacionalmente intensivo; se prefiere encarecidamente la aceleración por GPU para un entrenamiento práctico.
Las condiciones de la fuente no sustituyen una revisión científica independiente ni la validación por un motor de análisis.
Fortalezas
- Aprende dependencias a largo plazo en datos secuenciales que las redes recurrentes ordinarias pierden.
- Bien adaptado para pronósticos de series temporales y longitudinales y predicción de secuencias.
- Pocas suposiciones sobre la distribución: no requiere datos distribuidos normalmente.
- Maneja entradas de secuencias continuas e indexadas por fecha de forma nativa.
Aplicaciones
- Pronóstico de series temporales en datos continuos o indexados por fecha.
- Predicción de secuencias donde importan los patrones temporales a largo alcance.
- Modelización de datos longitudinales con dependencias que abarcan muchos pasos temporales.
- Tareas predictivas en grandes conjuntos de datos secuenciales donde la memoria temporal es esencial.
Cómo funciona
Cómo funciona
Cada unidad LSTM lleva una celda de memoria cuyo estado avanza a través de la secuencia. Esta celda actúa como una cinta transportadora de información, permitiendo que las señales relevantes persistan a lo largo de muchos pasos temporales en lugar de decaer después de uno o dos, lo que permite a la red aprender dependencias a largo plazo.
Las compuertas regulan el flujo hacia y desde la celda de memoria: una compuerta decide cuánta del estado pasado mantener, otra decide qué nueva información escribir y otra decide qué leer como respuesta de la unidad. Al aprender estas compuertas a partir de los datos, la red controla la memoria a lo largo de secuencias largas en lugar de ser abrumada por ella.
A medida que la secuencia se procesa paso a paso, el estado oculto (hidden state) con compuertas en cada paso alimenta una capa de salida que produce la predicción — por ejemplo, el siguiente valor en una serie temporal. Dado que las entradas deben normalizarse y la red es grande, el entrenamiento necesita un conjunto de datos considerable (alrededor de 500 o más observaciones) y, preferiblemente, aceleración por GPU.
Fórmula
\hat{y}_t = f(h_t)Errores comunes
- Alimentar entradas no normalizadas, lo que desestabiliza el entrenamiento.
- Entrenar con menos de aproximadamente 500 observaciones y confiar en el resultado en lugar de recurrir a un modelo más simple.
- Aplicar una red recurrente profunda a una muestra muy pequeña donde el aprendizaje automático clásico sería suficiente.
- Ignorar el sobreajuste e informar el ajuste dentro de la muestra como si fuera un rendimiento predictivo.
Preguntas frecuentes
¿Cuántos datos necesita una LSTM?
Está pensada para grandes conjuntos de datos — aproximadamente 500 observaciones o más. Por debajo de esa cantidad, la red tiende a sufrir sobreajuste y generaliza mal, por lo que se recomienda un modelo más simple como Random Forest como alternativa, y por debajo de unas 200 observaciones, XGBoost es una mejor opción.
¿Tengo que normalizar las entradas?
Sí. La normalización es un paso de preprocesamiento obligatorio para LSTM; las entradas sin escalar desestabilizan el entrenamiento y degradan el resultado.
¿Qué diferencia a LSTM de una red recurrente simple?
LSTM añade una celda de memoria y compuertas que controlan qué recordar, olvidar y emitir. Esto le permite transportar información a través de secuencias largas y aprender dependencias a largo plazo que una red recurrente simple pierde debido a los gradientes desvanecientes.
¿Se requiere una GPU?
No es estrictamente necesaria, pero se prefiere encarecidamente la aceleración por GPU porque el entrenamiento de LSTM en grandes conjuntos de datos secuenciales es computacionalmente intensivo.
Métodos relacionados
Fuentes
Hochreiter, S. & Schmidhuber, J. (1997). Long Short-Term Memory. Neural Computation, 9(8), 1735–1780.
Abrir referencia DOICopiado.