Unidad Recurrente con Compuertas (GRU)
- Propuesto por
- Cho, K. et al.
- Año
- 2014
- Tipo
- Gated recurrent neural network unit
Este texto es una traducción automática y aún no se ha revisado. Leer el original en inglés
¿Qué hace?
La Unidad Recurrente con Compuertas (GRU) es una celda de red neuronal recurrente con compuertas introducida por Cho y colegas en 2014 que captura dependencias a largo plazo en datos secuenciales utilizando compuertas de actualización y reinicio, logrando un rendimiento comparable al LSTM con menos parámetros.
La intuición detrás del método
Una red recurrente simple tiene dificultades para recordar información a través de secuencias largas porque la señal se desvanece o explota a medida que se pasa paso a paso. La GRU añade pequeñas compuertas que aprenden, en cada paso de tiempo, cuánta información del pasado mantener y cuánta información nueva absorber. Con solo dos compuertas en lugar de las tres del LSTM, transporta memoria útil a través de largos períodos, manteniéndose más ligera y rápida de entrenar.
Historia
La GRU fue introducida por Kyunghyun Cho y colegas en 2014 dentro de un marco de codificador-decodificador RNN para traducción automática estadística. Más tarde ese año, Chung, Gulcehre, Cho y Bengio evaluaron empíricamente las unidades recurrentes con compuertas frente a LSTM en tareas de modelado de secuencias, demostrando que la GRU más simple de dos compuertas podía igualar el rendimiento de LSTM utilizando menos parámetros, lo que la convirtió en una alternativa más ligera y popular para el modelado de secuencias.
Cuándo usarlo
Una buena opción para predicción, pronóstico y clasificación en datos secuenciales — series temporales o secuencias longitudinales de valores continuos o texto — cuando las dependencias a largo plazo son importantes y se desea un entrenamiento más rápido que el LSTM, con al menos unas 100 observaciones. No asume datos distribuidos normalmente. Con menos de unas 500 secuencias, el riesgo de sobreajuste es alto y un modelo más simple como Random Forest es más seguro; por debajo de unas 100, el entrenamiento recurrente no es significativo y XGBoost es preferible.
Limitaciones y consideraciones
- Alto riesgo de sobreajuste en conjuntos de datos pequeños (menos de unas 500 secuencias).
- Requiere datos secuenciales; no es significativo por debajo de aproximadamente 100 observaciones.
- Como caja negra recurrente, no ofrece coeficientes explícitos para interpretar.
- Como todos los modelos recurrentes, puede ser sensible a la longitud de la secuencia y a la configuración del entrenamiento.
Las condiciones de la fuente no sustituyen una revisión científica independiente ni la validación por un motor de análisis.
Fortalezas
- Captura dependencias a largo plazo en datos secuenciales a través de compuertas de actualización y reinicio aprendidas.
- Precisión comparable a LSTM con menos parámetros, por lo que entrena más rápido.
- Pocas suposiciones: no requiere datos distribuidos normalmente.
- Bien adaptada a series temporales y secuencias longitudinales de valores continuos o texto.
Aplicaciones
- Pronóstico y predicción en series temporales y secuencias longitudinales.
- Clasificación de secuencias sobre entradas de valores continuos o texto.
- Modelado de dependencias a largo plazo donde se necesita capacidad de nivel LSTM a menor costo.
- Una línea base recurrente más rápida antes de recurrir a modelos de secuencia más pesados.
Cómo funciona
Cómo funciona
En cada paso de tiempo, la unidad calcula dos compuertas a partir de la entrada actual y el estado oculto anterior. La compuerta de actualización decide cuánto del estado anterior mantener y cuánto actualizar, mientras que la compuerta de reinicio decide cuánto del pasado ignorar al formar un nuevo estado candidato. Ambas se comprimen mediante una sigmoide en valores entre cero y uno.
Fórmula
z_t = \sigma(W_z x_t + U_z h_{t-1}), \quad r_t = \sigma(W_r x_t + U_r h_{t-1})Se propone un estado oculto candidato a partir de la entrada actual combinada con el estado anterior filtrado a través de la compuerta de reinicio. Cuando la compuerta de reinicio está cerca de cero, la unidad efectivamente olvida el pasado y reacciona a la entrada fresca; cuando está cerca de uno, mezcla el contexto previo en el candidato nuevo.
Fórmula
\tilde{h}_t = \tanh(W x_t + U(r_t \odot h_{t-1}))El nuevo estado oculto es una interpolación con compuertas entre el estado anterior y el candidato, controlada por la compuerta de actualización. Este único paso de mezcla permite a la unidad preservar la memoria a través de muchos pasos de tiempo o actualizarse rápidamente, lo que permite a las GRU capturar dependencias a largo plazo sin una celda de memoria separada.
Fórmula
h_t = (1 - z_t) \odot h_{t-1} + z_t \odot \tilde{h}_tErrores comunes
- Aplicar GRU a un conjunto de datos secuenciales diminuto donde simplemente memoriza los datos de entrenamiento.
- Olvidar que las entradas deben formar secuencias genuinas, no filas tabulares desordenadas.
- Omitir una división adecuada de entrenamiento/validación y confiar en el ajuste de secuencias dentro de la muestra.
- Optar por una red recurrente cuando un modelo más simple generalizaría mejor en datos pequeños.
Preguntas frecuentes
¿Cómo difiere una GRU de una LSTM?
Una GRU utiliza dos compuertas (actualización y reinicio) y un único estado oculto, mientras que una LSTM utiliza tres compuertas y una celda de memoria separada. Por lo tanto, la GRU tiene menos parámetros y entrena más rápido mientras alcanza un rendimiento comparable en muchas tareas de secuencias.
¿Cuántos datos necesita una GRU?
Necesita datos secuenciales con al menos unas 100 observaciones. Por debajo de unas 500 secuencias, el riesgo de sobreajuste es alto, por lo que un modelo más simple como Random Forest es más seguro; por debajo de unas 100, una red recurrente no es significativa y XGBoost es preferible.
¿Asume la GRU datos distribuidos normalmente?
No. Al igual que otras redes neuronales recurrentes, no hace suposiciones de normalidad; lo que requiere es una entrada genuinamente secuencial, como una serie temporal o una secuencia longitudinal.
¿Cuándo debería preferir una GRU sobre un modelo más pesado?
Elija una GRU cuando necesite capturar dependencias a largo plazo en secuencias pero desee un entrenamiento más rápido y ligero que LSTM, y tenga suficientes datos secuenciales para evitar el sobreajuste.
Métodos relacionados
Fuentes
Cho, K. et al. (2014). Learning Phrase Representations using RNN Encoder–Decoder for Statistical Machine Translation. EMNLP.
Abrir referencia de la publicaciónCopiado.Chung, J., Gulcehre, C., Cho, K. & Bengio, Y. (2014). Empirical Evaluation of Gated Recurrent Neural Networks on Sequence Modeling. NIPS 2014 Deep Learning Workshop. arXiv:1412.3555
Abrir referencia de la publicaciónCopiado.