Saltar al contenido
Volver a los resultados

Memoria a Largo Plazo (LSTM)

Propuesto por
Hochreiter, S. & Schmidhuber, J.
Año
1997
Tipo
Recurrent neural network with gated memory cells
Familia
Deep learning / NLP / CV

Este texto es una traducción automática y aún no se ha revisado. Leer el original en inglés

Tamaño de letra

¿Qué hace?

La Memoria a Largo Plazo (LSTM) es una arquitectura de red neuronal recurrente con compuertas introducida por Hochreiter y Schmidhuber en 1997.

Fue diseñada para aprender dependencias a través de secuencias largas utilizando celdas de memoria dedicadas y tres compuertas aprendidas —olvido, entrada y salida— que controlan qué información se retiene, actualiza o pasa hacia adelante en cada paso de tiempo.

La intuición detrás del método

Una red recurrente simple intenta transportar información a través del tiempo reutilizando un único estado oculto, pero los gradientes se encogen o explotan en secuencias largas, lo que hace casi imposible aprender dependencias que abarcan muchos pasos. Las LSTM resuelven esto con una celda de memoria separada que actúa como una cinta transportadora: la compuerta de olvido decide qué información antigua borrar, la compuerta de entrada añade nueva información y la compuerta de salida determina qué revela la celda a la siguiente capa. Debido a que la celda puede transportar información en gran medida sin cambios durante muchos pasos, los gradientes fluyen de manera más confiable durante el entrenamiento, lo que permite a la red aprender patrones que abarcan oraciones, párrafos o ventanas de tiempo largas.

Historia

Hochreiter y Schmidhuber introdujeron la arquitectura LSTM en 1997 para abordar el problema de la desaparición de gradientes que impedía a las RNN simples aprender dependencias a largo plazo. Durante la década de 2000, siguió siendo una curiosidad de investigación; a principios de la década de 2010, impulsada por el trabajo de Graves y Hinton en reconocimiento de voz y de Sutskever en aprendizaje de secuencia a secuencia, las LSTM se convirtieron en la arquitectura dominante para tareas secuenciales. Mantuvieron esa posición hasta que el Transformer las superó alrededor de 2018-2019, aunque las LSTM siguen siendo ampliamente utilizadas en series temporales y entornos con recursos limitados.

Cuándo usarlo

La LSTM es adecuada para tareas donde el orden de las observaciones importa y el contexto relevante puede abarcar muchos pasos: clasificación de texto, análisis de sentimientos, reconocimiento de entidades nombradas, traducción automática, pronóstico de series temporales y procesamiento del habla. Elija LSTM cuando sus secuencias sean moderadamente largas (decenas a unos pocos cientos de pasos) y tenga suficientes datos etiquetados (típicamente miles de ejemplos) para aprender los parámetros de las compuertas. Para secuencias muy largas o cuando el paralelismo es crítico, el Transformer suele ser preferible. Para secuencias más cortas o cuando la simplicidad importa, un GRU (menos parámetros) o un modelo preentrenado afinado (BERT, RoBERTa) pueden ser más apropiados.

Limitaciones y consideraciones

  • Más lenta de entrenar que los Transformers porque el cálculo secuencial no se puede paralelizar completamente.
  • Requiere datos etiquetados sustanciales; en conjuntos de datos pequeños tiende a sobreajustarse a pesar del dropout.
  • Las secuencias muy largas (cientos de pasos) aún desafían a las LSTM debido a la capacidad limitada de la celda.
  • La sintonización de hiperparámetros — unidades ocultas, capas, dropout, tasa de aprendizaje — puede consumir mucho tiempo.
  • Para muchas tareas de PLN, los modelos Transformer preentrenados ahora superan a las LSTM entrenadas desde cero.

Las condiciones de la fuente no sustituyen una revisión científica independiente ni la validación por un motor de análisis.

Fortalezas

  • Diseñada explícitamente para capturar dependencias a largo plazo sin desaparición de gradientes.
  • Arquitectura flexible: funciona para clasificación de secuencias, etiquetado de tokens, generación y pronóstico.
  • Estructura de compuertas interpretable — compuertas de olvido, entrada y salida — en relación con alternativas de caja negra.
  • Extensión bidireccional (BiLSTM) duplica el contexto al procesar secuencias en ambas direcciones.
  • Amplio cuerpo de aplicaciones probadas en dominios de PLN, habla y series temporales.

Aplicaciones

  • Clasificación de texto y análisis de sentimientos en documentos o reseñas.
  • Etiquetado de secuencias: reconocimiento de entidades nombradas, etiquetado de partes del discurso.
  • Pronóstico de series temporales: precios de acciones, lecturas de sensores, demanda de energía.
  • Reconocimiento de voz como componente de modelo acústico.
  • Traducción automática a través de arquitecturas LSTM codificador-decodificador.
  • Detección de anomalías en datos secuenciales de registro o sensores.

Cómo funciona

Cómo funciona

1

En cada paso de tiempo, la compuerta de olvido recibe el estado oculto anterior y la entrada actual, las pasa a través de una sigmoide y produce un valor entre 0 y 1 para cada elemento del estado de la celda. Los valores cercanos a 0 borran ese elemento de la memoria; los valores cercanos a 1 lo preservan. Este borrado aprendido es lo que permite a la LSTM descartar el contexto que ya no es relevante.

Fórmula
f_t = \sigma(W_f [h_{t-1}, x_t] + b_f)
2

La compuerta de entrada, también activada por sigmoide, decide qué elementos del estado de celda candidato —calculado a través de tanh— deben escribirse en la celda. Juntas, las compuertas de olvido y entrada permiten a la red recordar selectivamente nueva información mientras descarta información obsoleta, sin la desaparición de gradientes que azota a las RNN simples.

Fórmula
i_t = \sigma(W_i [h_{t-1}, x_t] + b_i),\quad \tilde{c}_t = \tanh(W_c [h_{t-1}, x_t] + b_c)
3

El estado de la celda se actualiza multiplicando elemento a elemento el estado de celda antiguo por la salida de la compuerta de olvido, y luego sumando el producto elemento a elemento de la compuerta de entrada y el estado de celda candidato. Esta actualización aditiva es la razón clave por la que los gradientes pueden fluir hacia atrás a través de muchos pasos de tiempo sin desaparecer: la ruta a través del estado de la celda implica suma en lugar de multiplicación repetida.

Fórmula
c_t = f_t \odot c_{t-1} + i_t \odot \tilde{c}_t
4

La compuerta de salida controla cuánto del estado de celda (comprimido por tanh) se expone como el estado oculto pasado al siguiente paso de tiempo y a la capa superior. Esta desacoplamiento de la memoria interna de la representación expuesta otorga a la LSTM flexibilidad adicional en tareas de secuenciación.

Fórmula
o_t = \sigma(W_o [h_{t-1}, x_t] + b_o),\quad h_t = o_t \odot \tanh(c_t)
5

Dependiendo de la tarea, la LSTM puede devolver el estado oculto final (clasificación de secuencias), todos los estados ocultos (etiquetado de secuencias, traducción) o ambos. En la práctica, apilar múltiples capas LSTM y añadir dropout entre ellas mejora el poder representacional al tiempo que reduce el sobreajuste.

Errores comunes

  • Uso de una LSTM sin relleno y enmascaramiento cuando las secuencias varían en longitud, causando errores silenciosos por ceros de relleno.
  • Olvido de establecer la red en modo de evaluación (desactivando el dropout) en el momento de la inferencia.
  • Entrenamiento sin recorte de gradientes, lo que puede llevar a gradientes explosivos incluso en LSTM.
  • Reportar solo la precisión en conjuntos de datos de secuencias desequilibrados en lugar de F1 por clase o AUC.
  • Tratar una LSTM unidireccional como suficiente para tareas (como NER o predicción enmascarada) donde el contexto futuro está disponible.

Preguntas frecuentes

¿Cuál es la diferencia entre LSTM y GRU?

Una GRU fusiona las compuertas de olvido y entrada en una única compuerta de actualización y no tiene un estado de celda separado, lo que le da menos parámetros y un entrenamiento más rápido. Las LSTM tienden a superar ligeramente a las GRU en tareas que requieren memoria a muy largo plazo, pero la diferencia suele ser pequeña y depende del conjunto de datos.

¿Debería usar una LSTM bidireccional?

Si su tarea permite el acceso a la secuencia completa antes de hacer predicciones —clasificación, NER o pronóstico fuera de línea— una BiLSTM típicamente mejora la precisión al incorporar contexto pasado y futuro. Si las predicciones deben hacerse en tiempo real (pronóstico en línea, transmisión), use una LSTM unidireccional.

¿Cuándo debería elegir un Transformer sobre una LSTM?

Para la mayoría de las tareas modernas de PLN con suficiente cómputo, los Transformers preentrenados (BERT, RoBERTa) superan a las LSTM entrenadas desde cero. Elija una LSTM cuando el cómputo o la latencia estén restringidos, cuando sus secuencias sean series temporales numéricas en lugar de texto, o cuando tenga muy pocos datos para afinar un modelo preentrenado grande.

¿Cómo manejo secuencias de longitud variable?

Rellene las secuencias más cortas hasta una longitud común, cree una máscara para ignorar los tokens de relleno en el cálculo de la pérdida y utilice secuencias empaquetadas (PyTorch) o capas de enmascaramiento (Keras/TensorFlow) para que las posiciones de relleno no afecten el estado oculto.

¿Cuántas capas LSTM y unidades ocultas debería usar?

Para la mayoría de las tareas, una o dos capas LSTM apiladas con 64-512 unidades ocultas es un rango inicial sensato. Más capas y unidades aumentan la capacidad pero también el tiempo de entrenamiento y el riesgo de sobreajuste; use dropout entre capas y valide con un conjunto de reserva o validación cruzada.

Métodos relacionados

Fuentes

  1. Hochreiter, S. & Schmidhuber, J. (1997). Long short-term memory. Neural Computation, 9(8), 1735–1780.

    Abrir referencia DOI
    Copiado.
  2. Graves, A., Mohamed, A.-R. & Hinton, G. (2013). Speech recognition with deep recurrent neural networks. Proceedings of ICASSP 2013, pp. 6645–6649. IEEE.

    Abrir referencia DOI
    Copiado.