Unidade Recorrente Gated (GRU)
- Proposto por
- Cho, K., van Merrienboer, B., Gulcehre, C., Bahdanau, D., Bougares, F., Schwenk, H., & Bengio, Y.
- Ano
- 2014
- Tipo
- Recurrent neural network with gating
- Família
- Deep learning / NLP / CV
Este texto é uma tradução automática e ainda não foi revisado. Ler o original em inglês
O que ele faz?
A Unidade Recorrente Gated (GRU), introduzida por Cho et al. em 2014, é uma rede neural recorrente simplificada que utiliza dois "gates" aprendidos — um "gate" de atualização e um "gate" de reset — para reter ou descartar seletivamente informações ao longo dos passos de tempo, permitindo uma modelagem de sequência eficaz com menos parâmetros do que a LSTM.
A intuição por trás do método
Processar uma sequência é como ler um documento longo enquanto se decide o que lembrar e o que esquecer. O "gate" de atualização da GRU controla o quanto do estado oculto anterior deve ser mantido ou substituído por novas informações, enquanto o "gate" de reset decide o quanto do contexto passado deve influenciar o novo estado oculto candidato. Esse mecanismo de "gating" permite que a rede capture dependências de longo alcance sem os problemas de "vanishing-gradient" que afetam as RNNs simples, e o faz com uma arquitetura mais simples e rápida do que a LSTM de quatro "gates".
História
A GRU foi introduzida por Cho et al. em 2014 como parte da estrutura de "encoder-decoder" de RNN para tradução automática estatística. Chung et al. (2014) forneceram uma avaliação empírica mostrando que GRU e LSTM alcançaram desempenho similar na modelagem de música polifônica e modelagem de sinal de fala, enquanto a GRU treinava mais rápido. Rapidamente se tornou um "baseline" padrão de modelagem de sequência e permanece amplamente utilizada em PNL e pesquisa de séries temporais.
Quando usar
Use GRU ao trabalhar com dados sequenciais — linguagem natural, séries temporais, fala ou logs de eventos — especialmente quando os recursos computacionais são limitados ou a velocidade de treinamento é importante, pois a GRU treina mais rápido e usa menos parâmetros do que a LSTM com precisão frequentemente comparável. É bem adequada para tarefas como classificação de texto, análise de sentimento, reconhecimento de entidade nomeada, modelagem de linguagem e previsão de séries temporais univariadas ou multivariadas. Prefira LSTM quando você tem sequências muito longas onde a célula de memória adicional da LSTM pode oferecer uma vantagem de precisão, ou quando você pode arcar com o custo computacional extra. Evite GRU para dados tabulares não sequenciais, onde redes "feed-forward" ou modelos baseados em árvores são mais apropriados.
Limitações e considerações
- Pode ter desempenho inferior à LSTM em sequências muito longas, onde a célula de memória separada da LSTM oferece uma vantagem distinta.
- Mais lenta e com maior consumo de memória do que os modelos baseados em Transformer para tarefas de PNL de contexto longo.
- A computação inerentemente sequencial limita o paralelismo durante o treinamento, ao contrário dos Transformers.
- Sensível a hiperparâmetros como tamanho oculto, "dropout" e taxa de aprendizado; requer ajuste cuidadoso.
As condições da fonte não substituem a revisão científica independente nem a validação por um motor de análise.
Pontos fortes
- Menos parâmetros do que a LSTM (dois "gates" em vez de quatro), levando a um treinamento mais rápido e menor uso de memória.
- Atenua o problema do "vanishing-gradient" das RNNs simples, permitindo o aprendizado de dependências temporais de longo alcance.
- Precisão competitiva com LSTM em muitos "benchmarks" de PNL e séries temporais, apesar de sua arquitetura mais simples.
- Mais fácil de ajustar: menos hiperparâmetros (tamanho oculto, número de camadas, "dropout") do que a LSTM.
- Variantes bidirecionais e empilhadas são fáceis de implementar para representações contextuais mais ricas.
Aplicações
- Classificação de texto e análise de sentimento em documentos de comprimento curto a médio.
- Reconhecimento de entidade nomeada e rotulagem de sequência em "pipelines" de PNL.
- Previsão de séries temporais para dados de sensores, preços de ações e consumo de energia.
- Reconhecimento de fala e modelagem de características de áudio.
- Arquiteturas de "encoder-decoder" para tradução automática.
- Detecção de anomalias em logs de eventos sequenciais e fluxos de monitoramento.
Como funciona
Como funciona
A cada passo de tempo, o "gate" de atualização calcula um valor entre 0 e 1 usando a entrada atual e o estado oculto anterior. Um valor próximo de 1 significa que a maior parte do estado oculto anterior é preservada; próximo de 0 significa que é majoritariamente substituída. Este único "gate" substitui os "gates" de entrada e de esquecimento da LSTM.
Fórmula
z_t = \sigma(W_z x_t + U_z h_{t-1} + b_z)O "gate" de reset, de forma similar, produz um valor entre 0 e 1 que modula o quanto do estado oculto anterior é exposto ao calcular o novo estado candidato. Um valor próximo de 0 efetivamente permite que a rede ignore o contexto anterior, permitindo que ela se reinicie e se concentre na entrada atual.
Fórmula
r_t = \sigma(W_r x_t + U_r h_{t-1} + b_r)Um estado oculto candidato é calculado usando a entrada atual e o estado oculto anterior "reset-gated" via uma ativação tanh. Isso representa a nova informação que a célula armazenaria se o "gate" de atualização permitisse a substituição completa do estado anterior.
Fórmula
\tilde{h}_t = \tanh(W x_t + U(r_t \odot h_{t-1}) + b)O estado oculto final é uma interpolação linear entre o estado oculto anterior e o candidato: o peso do "gate" de atualização determina o quanto de cada um deve ser mantido. Essa combinação convexa propaga gradientes de forma limpa ao longo do tempo, ajudando a rede a aprender dependências de longo alcance.
Fórmula
h_t = (1 - z_t) \odot h_{t-1} + z_t \odot \tilde{h}_tO estado oculto no passo de tempo final (ou em cada passo de tempo) é passado por uma camada linear e softmax (para classificação) ou uma ativação linear (para regressão) para produzir as previsões do modelo. Para tarefas de sequência-para-sequência, os estados ocultos em todos os passos de tempo são utilizados.
Fórmula
\hat{y}_t = \text{softmax}(W_o h_t + b_o)Erros comuns
- Usar GRU em dados tabulares de tamanho fixo, onde o viés indutivo sequencial não agrega valor sobre uma MLP simples.
- Negligenciar o preenchimento ("padding") e a máscara ("masking") de sequências de comprimento variável, fazendo com que o modelo aprenda artefatos de preenchimento.
- Deixar de aplicar o "gradient clipping", arriscando "exploding gradients" durante a retropropagação no tempo.
- Reportar apenas a precisão sem métricas em nível de sequência, como F1, BLEU ou MAE, dependendo da tarefa.
- Escolher GRU para PNL de documentos longos quando um Transformer pré-treinado (BERT, RoBERTa) seria muito mais poderoso.
Perguntas frequentes
Quando devo escolher GRU em vez de LSTM?
GRU é uma boa opção padrão quando a velocidade de treinamento e a eficiência de parâmetros são importantes e suas sequências não são extremamente longas. LSTM pode ter uma vantagem em sequências muito longas graças à sua célula de memória dedicada, mas os resultados empíricos são frequentemente específicos da tarefa, então experimente ambos e compare em um conjunto de validação.
A GRU pode lidar com sequências de comprimento variável?
Sim. Preencha as sequências para um comprimento uniforme dentro de cada lote e, em seguida, use uma camada de máscara ou o mecanismo de sequência empacotada no PyTorch para instruir a GRU a ignorar os tokens de preenchimento. Sem mascaramento, o modelo aprende padrões espúrios do preenchimento.
Devo usar uma GRU bidirecional?
Para tarefas em que a sequência completa está disponível no momento da inferência — como classificação de texto ou NER — uma GRU bidirecional (BiGRU) processa cada sequência tanto para frente quanto para trás, dando a cada token acesso ao contexto passado e futuro. Para previsão em tempo real ou causal, apenas a direção para frente é válida.
A GRU ainda é competitiva com os Transformers?
Para conjuntos de dados pequenos a médios e sequências mais curtas, a GRU permanece competitiva e treina muito mais rápido do que um Transformer sem pré-treinamento. Para tarefas de PNL em larga escala, Transformers pré-treinados (BERT, RoBERTa) geralmente superam a GRU por uma ampla margem.
Quais são os principais hiperparâmetros a serem ajustados?
Os mais importantes são o tamanho oculto (número de unidades por camada), o número de camadas empilhadas (1 a 3 é comum), a taxa de "dropout" entre as camadas e a taxa de aprendizado. O "gradient clipping" (norma máxima em torno de 1 a 5) é fortemente recomendado para estabilizar o treinamento.
Métodos relacionados
Fontes
Cho, K., van Merrienboer, B., Gulcehre, C., Bahdanau, D., Bougares, F., Schwenk, H., & Bengio, Y. (2014). Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation. In Proceedings of EMNLP 2014, pp. 1724–1734.
Abrir referência da publicaçãoCopiado.Chung, J., Gulcehre, C., Cho, K., & Bengio, Y. (2014). Empirical Evaluation of Gated Recurrent Neural Networks on Sequence Modeling. NIPS 2014 Deep Learning Workshop.
Abrir referência da publicaçãoCopiado.