Saltar al contenido
Volver a los resultados

Unidad Recurrente con Compuertas (GRU)

Propuesto por
Cho, K., van Merrienboer, B., Gulcehre, C., Bahdanau, D., Bougares, F., Schwenk, H., & Bengio, Y.
Año
2014
Tipo
Recurrent neural network with gating
Familia
Deep learning / NLP / CV

Este texto es una traducción automática y aún no se ha revisado. Leer el original en inglés

Tamaño de letra

¿Qué hace?

La Unidad Recurrente con Compuertas (GRU), introducida por Cho et al. en 2014, es una red neuronal recurrente simplificada que utiliza dos compuertas aprendidas —una compuerta de actualización y una compuerta de reinicio— para retener o descartar selectivamente información a través de los pasos de tiempo, permitiendo una modelización de secuencias eficaz con menos parámetros que LSTM.

La intuición detrás del método

Procesar una secuencia es como leer un documento largo mientras se decide qué recordar y qué olvidar. La compuerta de actualización de la GRU controla cuánta del estado oculto anterior se mantiene y cuánta se reemplaza con nueva información, mientras que la compuerta de reinicio decide cuánta del contexto pasado debe influir en el nuevo estado oculto candidato. Este mecanismo de compuertas permite a la red capturar dependencias a largo plazo sin los problemas de desvanecimiento del gradiente que afectan a las RNN simples, y lo hace con una arquitectura más simple y rápida que la LSTM de cuatro compuertas.

Historia

La GRU fue introducida por Cho et al. en 2014 como parte del marco codificador-decodificador de RNN para traducción automática estadística. Chung et al. (2014) proporcionaron una evaluación empírica que mostraba que GRU y LSTM lograban un rendimiento similar en modelado de música polifónica y modelado de señales de voz, mientras que GRU entrenaba más rápido. Rápidamente se convirtió en una línea base estándar de modelado de secuencias y sigue siendo ampliamente utilizada en investigación de PNL y series temporales.

Cuándo usarlo

Utilice GRU al trabajar con datos secuenciales —lenguaje natural, series temporales, habla o registros de eventos— especialmente cuando los recursos computacionales son limitados o la velocidad de entrenamiento es importante, porque GRU entrena más rápido y utiliza menos parámetros que LSTM con una precisión a menudo comparable. Es adecuada para tareas como clasificación de texto, análisis de sentimientos, reconocimiento de entidades nombradas, modelado de lenguaje y pronóstico de series temporales univariantes o multivariantes. Prefiera LSTM cuando tenga secuencias muy largas donde la celda de memoria adicional de LSTM pueda ofrecer una ventaja de precisión, o cuando pueda permitirse la computación adicional. Evite GRU para datos tabulares no secuenciales donde las redes feed-forward o los modelos basados en árboles son más apropiados.

Limitaciones y consideraciones

  • Puede tener un rendimiento inferior a LSTM en secuencias muy largas donde la celda de memoria separada de LSTM proporciona una ventaja distintiva.
  • Más lento y más intensivo en memoria que los modelos basados en Transformer para tareas de PNL con contexto largo.
  • El cálculo inherentemente secuencial limita el paralelismo durante el entrenamiento, a diferencia de los Transformers.
  • Sensible a hiperparámetros como el tamaño oculto, el dropout y la tasa de aprendizaje; requiere un ajuste cuidadoso.

Las condiciones de la fuente no sustituyen una revisión científica independiente ni la validación por un motor de análisis.

Fortalezas

  • Menos parámetros que LSTM (dos compuertas en lugar de cuatro), lo que lleva a un entrenamiento más rápido y un menor uso de memoria.
  • Mitiga el problema del desvanecimiento del gradiente de las RNN simples, permitiendo el aprendizaje de dependencias temporales a largo plazo.
  • Precisión competitiva con LSTM en muchos benchmarks de PNL y series temporales a pesar de su arquitectura más simple.
  • Más fácil de ajustar: menos hiperparámetros (tamaño oculto, número de capas, dropout) que LSTM.
  • Las variantes bidireccional y apilada son sencillas de implementar para representaciones contextuales más ricas.

Aplicaciones

  • Clasificación de texto y análisis de sentimientos en documentos de longitud corta a media.
  • Reconocimiento de entidades nombradas y etiquetado de secuencias en pipelines de PNL.
  • Pronóstico de series temporales para datos de sensores, precios de acciones y consumo de energía.
  • Reconocimiento de voz y modelado de características de audio.
  • Arquitecturas codificador-decodificador de traducción automática.
  • Detección de anomalías en registros de eventos secuenciales y flujos de monitorización.

Cómo funciona

Cómo funciona

1

En cada paso de tiempo, la compuerta de actualización calcula un valor entre 0 y 1 utilizando la entrada actual y el estado oculto anterior. Un valor cercano a 1 significa que la mayor parte del estado oculto anterior se conserva; cercano a 0 significa que se reemplaza en su mayoría. Esta única compuerta reemplaza tanto la compuerta de entrada como la de olvido de LSTM.

Fórmula
z_t = \sigma(W_z x_t + U_z h_{t-1} + b_z)
2

La compuerta de reinicio produce de manera similar un valor entre 0 y 1 que modula cuánta del estado oculto anterior se expone al calcular el nuevo estado candidato. Un valor cercano a 0 permite efectivamente que la red ignore el contexto previo, permitiéndole reiniciarse y centrarse en la entrada actual.

Fórmula
r_t = \sigma(W_r x_t + U_r h_{t-1} + b_r)
3

Se calcula un estado oculto candidato utilizando la entrada actual y el estado oculto anterior con compuerta de reinicio a través de una activación tanh. Esto representa la nueva información que la celda almacenaría si la compuerta de actualización permitiera el reemplazo completo del estado anterior.

Fórmula
\tilde{h}_t = \tanh(W x_t + U(r_t \odot h_{t-1}) + b)
4

El estado oculto final es una interpolación lineal entre el estado oculto anterior y el candidato: el peso de la compuerta de actualización determina cuánto de cada uno se mantiene. Esta combinación convexa propaga gradientes limpiamente a través del tiempo, ayudando a la red a aprender dependencias a largo plazo.

Fórmula
h_t = (1 - z_t) \odot h_{t-1} + z_t \odot \tilde{h}_t
5

El estado oculto en el paso de tiempo final (o en cada paso) se pasa a través de una capa lineal y softmax (para clasificación) o una activación lineal (para regresión) para producir las predicciones del modelo. Para tareas de secuencia a secuencia, se utilizan los estados ocultos de todos los pasos de tiempo.

Fórmula
\hat{y}_t = \text{softmax}(W_o h_t + b_o)

Errores comunes

  • Usar GRU en datos tabulares de tamaño fijo donde el sesgo inductivo secuencial no aporta valor sobre un MLP simple.
  • No rellenar y enmascarar secuencias de longitud variable, lo que hace que el modelo aprenda artefactos de relleno.
  • No aplicar recorte de gradiente, arriesgándose a explosión de gradientes durante la retropropagación a través del tiempo.
  • Informar solo la precisión sin métricas a nivel de secuencia como F1, BLEU o MAE, dependiendo de la tarea.
  • Elegir GRU para PNL de documentos largos cuando un Transformer preentrenado (BERT, RoBERTa) sería mucho más potente.

Preguntas frecuentes

¿Cuándo debería elegir GRU sobre LSTM?

GRU es una buena opción por defecto cuando la velocidad de entrenamiento y la eficiencia de parámetros son importantes y sus secuencias no son extremadamente largas. LSTM puede tener una ventaja en secuencias muy largas gracias a su celda de memoria dedicada, pero los resultados empíricos a menudo son específicos de la tarea, así que pruebe ambas y compare en un conjunto de validación.

¿Puede GRU manejar secuencias de longitud variable?

Sí. Rellene las secuencias a una longitud uniforme dentro de cada lote, luego use una capa de enmascaramiento o el mecanismo de secuencia empaquetada en PyTorch para indicar a la GRU que ignore los tokens de relleno. Sin enmascaramiento, el modelo aprende patrones espurios del relleno.

¿Debería usar una GRU bidireccional?

Para tareas donde la secuencia completa está disponible en el momento de la inferencia —como clasificación de texto o NER— una GRU bidireccional (BiGRU) procesa cada secuencia tanto hacia adelante como hacia atrás, dando a cada token acceso al contexto pasado y futuro. Para pronósticos en tiempo real o causales, solo la dirección hacia adelante es válida.

¿Sigue siendo GRU competitiva con los Transformers?

Para conjuntos de datos pequeños a medianos y secuencias más cortas, GRU sigue siendo competitiva y entrena mucho más rápido que un Transformer sin preentrenamiento. Para tareas de PNL a gran escala, los Transformers preentrenados (BERT, RoBERTa) generalmente superan a GRU por un amplio margen.

¿Cuáles son los hiperparámetros clave a ajustar?

Los más importantes son el tamaño oculto (número de unidades por capa), el número de capas apiladas (1-3 es común), la tasa de dropout entre capas y la tasa de aprendizaje. Se recomienda encarecidamente el recorte de gradiente (norma máxima alrededor de 1-5) para estabilizar el entrenamiento.

Métodos relacionados

Fuentes

  1. Cho, K., van Merrienboer, B., Gulcehre, C., Bahdanau, D., Bougares, F., Schwenk, H., & Bengio, Y. (2014). Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation. In Proceedings of EMNLP 2014, pp. 1724–1734.

    Abrir referencia de la publicación
    Copiado.
  2. Chung, J., Gulcehre, C., Cho, K., & Bengio, Y. (2014). Empirical Evaluation of Gated Recurrent Neural Networks on Sequence Modeling. NIPS 2014 Deep Learning Workshop.

    Abrir referencia de la publicación
    Copiado.