Red Neuronal Recurrente
- Propuesto por
- Rumelhart, D. E.; Elman, J. L.
- Año
- 1986–1990
- Tipo
- Sequential neural network
- Familia
- Deep learning / NLP / CV
Este texto es una traducción automática y aún no se ha revisado. Leer el original en inglés
¿Qué hace?
Una Red Neuronal Recurrente (RNN) es una clase de red neuronal diseñada para procesar datos secuenciales manteniendo un estado oculto que transporta información a través de los pasos temporales.
Introducidas en su forma moderna por Rumelhart et al. (1986) y moldeadas posteriormente por Elman (1990), las RNN se convirtieron en la arquitectura dominante para la modelización de secuencias en PLN, voz y análisis de series temporales antes del auge de los modelos basados en atención.
La intuición detrás del método
A diferencia de las redes feedforward que tratan cada entrada de forma independiente, una RNN procesa una secuencia un elemento a la vez y pasa un resumen de lo que ha visto hasta el momento —su estado oculto— al siguiente paso. Piense en ello como leer una oración palabra por palabra: en cada palabra, actualiza su comprensión a la luz de todas las palabras anteriores. Esta conexión recurrente permite a la red capturar dependencias temporales y contexto, haciéndola naturalmente adecuada para tareas donde el orden importa y el contexto pasado moldea el significado del elemento actual.
Historia
Los cimientos de las redes recurrentes fueron sentados por Rumelhart, Hinton y Williams en 1986 con el algoritmo de retropropagación a través del tiempo, y el artículo de Elman de 1990 popularizó la arquitectura de red recurrente simple para la modelización cognitiva. A lo largo de los años 90 y 2000, las RNN impulsaron el reconocimiento de voz y la modelización del lenguaje, aunque su impacto práctico se vio limitado por el problema del desvanecimiento de gradientes hasta que Hochreiter y Schmidhuber introdujeron LSTM en 1997. Las RNN siguen siendo importantes como anclas conceptuales y líneas base ligeras.
Cuándo usarlo
Utilice una RNN cuando sus datos sean secuenciales y el orden tenga significado: texto, voz, flujos de sensores, series temporales financieras o secuencias biológicas de longitud moderada (hasta unos cientos de pasos). Es apropiada cuando necesita una arquitectura recurrente compacta o cuando se planea la integración posterior con variantes LSTM/GRU. No utilice una RNN simple para secuencias más largas que unos pocos cientos de pasos: el desvanecimiento de gradientes le impide aprender dependencias a largo plazo, para las cuales LSTM o GRU son mucho más eficaces. Para tareas de comprensión del lenguaje natural en 2024+, los transformadores preentrenados (BERT, RoBERTa) casi siempre superan a las RNN. Utilice RNN principalmente como un componente en arquitecturas más grandes o como una línea base para tareas de secuencias.
Limitaciones y consideraciones
- Grave problema de desvanecimiento/explosión de gradientes para secuencias más largas que aproximadamente 50–200 pasos; se deben preferir LSTM o GRU.
- El cálculo secuencial no se puede paralelizar a través de pasos temporales, lo que hace que el entrenamiento sea lento en secuencias largas en comparación con arquitecturas convolucionales o de transformadores.
- Superada sustancialmente en la mayoría de los benchmarks de PLN por modelos de transformadores preentrenados como BERT y RoBERTa.
- Capacidad de memoria limitada: el estado oculto de dimensión fija tiene dificultades para comprimir el contexto a largo plazo.
Las condiciones de la fuente no sustituyen una revisión científica independiente ni la validación por un motor de análisis.
Fortalezas
- Procesa naturalmente secuencias de longitud variable sin requerir relleno a una ventana fija.
- El reparto de parámetros a través de pasos temporales mantiene el tamaño del modelo manejable en relación con la longitud de entrada.
- Forma la base conceptual y práctica para LSTM, GRU y muchos modelos de secuencias modernos.
- Adecuada como línea base ligera para clasificación y regresión de secuencias antes de arquitecturas más costosas.
- Puede producir salidas en cada paso temporal, permitiendo tareas de muchos a muchos como etiquetado de secuencias y traducción.
Aplicaciones
- Clasificación de texto y análisis de sentimientos en documentos de longitud corta a media.
- Modelización del lenguaje y predicción de la siguiente palabra a nivel de carácter o palabra.
- Predicción de series temporales para datos de sensores, financieros o fisiológicos de longitud moderada.
- Tareas de etiquetado de secuencias como el etiquetado de partes del discurso cuando se utilizan como codificador.
- Secuencias de voz a texto y canalizaciones de extracción de características de audio.
- Modelización de secuencias de línea base antes de actualizar a arquitecturas LSTM, GRU o de transformadores.
Cómo funciona
Cómo funciona
La entrada es una secuencia de vectores (palabras, pasos temporales, fotogramas) alimentada a la red un elemento a la vez. Cada elemento x_t se empareja con el estado oculto h_{t-1} transportado desde el paso anterior, permitiendo que el contexto se acumule a lo largo de toda la secuencia.
En cada paso t, el estado oculto se actualiza como h_t = tanh(W_h * h_{t-1} + W_x * x_t + b). Las matrices de pesos W_h y W_x se comparten en todos los pasos temporales, por lo que el modelo aprende una única regla de transición que se aplica repetidamente, independientemente de la longitud de la secuencia.
Fórmula
h_t = \tanh(W_h h_{t-1} + W_x x_t + b)Una salida y_t se calcula a partir del estado oculto en cada paso temporal (muchos a muchos) o solo en el paso final (muchos a uno). Para tareas de clasificación, el estado oculto final se pasa a una capa softmax; para tareas de secuencia a secuencia, las salidas se producen en cada paso.
Fórmula
y_t = W_y h_t + b_y
El entrenamiento utiliza retropropagación a través del tiempo (BPTT): los gradientes fluyen hacia atrás a través de la secuencia desplegada para actualizar todos los pesos compartidos. Para secuencias largas, esto conduce al problema del desvanecimiento o explosión de gradientes, donde los gradientes se vuelven demasiado pequeños o demasiado grandes para actualizar de manera fiable los pasos temporales tempranos.
Los pesos compartidos W_h, W_x y W_y se actualizan mediante descenso de gradiente o un optimizador adaptativo (Adam, RMSProp). La limitación de gradientes se aplica comúnmente para prevenir la explosión de gradientes. Los mismos pesos rigen cada paso, por lo que el modelo se generaliza a través de diferentes longitudes de secuencia.
Errores comunes
- Aplicar una RNN simple a secuencias largas sin reconocer la limitación del desvanecimiento de gradientes y compararla con LSTM/GRU.
- No lograr recortar los gradientes, lo que lleva a pérdidas NaN o entrenamiento inestable en entradas más largas.
- Tratar el estado oculto final como un resumen rico sin verificar si la información de la secuencia temprana se retiene realmente.
- Omitir una división adecuada de entrenamiento/validación/prueba o validación cruzada, especialmente dada la tendencia de las RNN a sobreajustarse a conjuntos de datos pequeños.
- No normalizar o escalar las características de entrada, lo que amplifica la inestabilidad del gradiente.
Preguntas frecuentes
¿Cuál es la diferencia entre una RNN, una LSTM y una GRU?
Una RNN es la arquitectura recurrente más simple: tiene un único estado oculto actualizado en cada paso. LSTM añade compuertas de entrada, olvido y salida que protegen la información a largo plazo del desvanecimiento de gradientes. GRU es una versión simplificada de LSTM con menos parámetros. Tanto LSTM como GRU superan casi siempre a una RNN simple en tareas que requieren memoria más allá de ~50–100 pasos.
¿Por qué el entrenamiento de una RNN a veces produce pérdidas NaN?
Las pérdidas NaN casi siempre resultan de la explosión de gradientes. Aplique limitación de gradientes (recorte de norma a 1 o 5) y reduzca la tasa de aprendizaje. Asegúrese de que las entradas estén normalizadas. Si el problema persiste, cambie a LSTM o GRU, que son más estables debido a sus mecanismos de compuertas.
¿Todavía puedo usar una RNN para tareas de PLN en 2024?
Para PLN en producción, los transformadores preentrenados como BERT o RoBERTa dominan. Las RNN simples se reservan mejor como líneas base ligeras, componentes dentro de arquitecturas más grandes, o para entornos con recursos limitados donde los tamaños de modelo grandes son prohibitivos.
¿Cómo elijo la dimensión del estado oculto?
Las opciones comunes van desde 64 hasta 512 unidades dependiendo de la complejidad de la tarea y el tamaño del conjunto de datos. Empiece con un valor pequeño (por ejemplo, 128), monitorice la pérdida de validación y aumente la capacidad solo si se evidencia subajuste. Estados ocultos más grandes aumentan el riesgo de sobreajuste en conjuntos de datos pequeños.
¿Qué función de pérdida debo usar para la clasificación de secuencias?
Para clasificación binaria, use entropía cruzada binaria; para multiclase, use entropía cruzada categórica con softmax en el estado oculto final. Para etiquetado de secuencias (una salida por paso), aplique la pérdida en cada paso temporal y promedie o sume entre pasos.
Métodos relacionados
Fuentes
Elman, J. L. (1990). Finding structure in time. Cognitive Science, 14(2), 179–211.
Abrir referencia DOICopiado.Rumelhart, D. E., Hinton, G. E., & Williams, R. J. (1986). Learning representations by back-propagating errors. Nature, 323(6088), 533–536.
Abrir referencia DOICopiado.