Skip to content
Voltar aos resultados

Unidade Recorrente Gated (GRU)

Proposto por
Cho, K., van Merrienboer, B., Gulcehre, C., Bahdanau, D., Bougares, F., Schwenk, H., & Bengio, Y.
Ano
2014
Tipo
Recurrent neural network with gating
Família
Deep learning / NLP / CV

Este texto é uma tradução automática e ainda não foi revisado. Ler o original em inglês

Tamanho da fonte

O que ele faz?

A Unidade Recorrente Gated (GRU), introduzida por Cho et al. em 2014, é uma rede neural recorrente simplificada que utiliza dois "gates" aprendidos — um "gate" de atualização e um "gate" de reset — para reter ou descartar seletivamente informações ao longo dos passos de tempo, permitindo uma modelagem de sequência eficaz com menos parâmetros do que a LSTM.

A intuição por trás do método

Processar uma sequência é como ler um documento longo enquanto se decide o que lembrar e o que esquecer. O "gate" de atualização da GRU controla o quanto do estado oculto anterior deve ser mantido ou substituído por novas informações, enquanto o "gate" de reset decide o quanto do contexto passado deve influenciar o novo estado oculto candidato. Esse mecanismo de "gating" permite que a rede capture dependências de longo alcance sem os problemas de "vanishing-gradient" que afetam as RNNs simples, e o faz com uma arquitetura mais simples e rápida do que a LSTM de quatro "gates".

História

A GRU foi introduzida por Cho et al. em 2014 como parte da estrutura de "encoder-decoder" de RNN para tradução automática estatística. Chung et al. (2014) forneceram uma avaliação empírica mostrando que GRU e LSTM alcançaram desempenho similar na modelagem de música polifônica e modelagem de sinal de fala, enquanto a GRU treinava mais rápido. Rapidamente se tornou um "baseline" padrão de modelagem de sequência e permanece amplamente utilizada em PNL e pesquisa de séries temporais.

Quando usar

Use GRU ao trabalhar com dados sequenciais — linguagem natural, séries temporais, fala ou logs de eventos — especialmente quando os recursos computacionais são limitados ou a velocidade de treinamento é importante, pois a GRU treina mais rápido e usa menos parâmetros do que a LSTM com precisão frequentemente comparável. É bem adequada para tarefas como classificação de texto, análise de sentimento, reconhecimento de entidade nomeada, modelagem de linguagem e previsão de séries temporais univariadas ou multivariadas. Prefira LSTM quando você tem sequências muito longas onde a célula de memória adicional da LSTM pode oferecer uma vantagem de precisão, ou quando você pode arcar com o custo computacional extra. Evite GRU para dados tabulares não sequenciais, onde redes "feed-forward" ou modelos baseados em árvores são mais apropriados.

Limitações e considerações

  • Pode ter desempenho inferior à LSTM em sequências muito longas, onde a célula de memória separada da LSTM oferece uma vantagem distinta.
  • Mais lenta e com maior consumo de memória do que os modelos baseados em Transformer para tarefas de PNL de contexto longo.
  • A computação inerentemente sequencial limita o paralelismo durante o treinamento, ao contrário dos Transformers.
  • Sensível a hiperparâmetros como tamanho oculto, "dropout" e taxa de aprendizado; requer ajuste cuidadoso.

As condições da fonte não substituem a revisão científica independente nem a validação por um motor de análise.

Pontos fortes

  • Menos parâmetros do que a LSTM (dois "gates" em vez de quatro), levando a um treinamento mais rápido e menor uso de memória.
  • Atenua o problema do "vanishing-gradient" das RNNs simples, permitindo o aprendizado de dependências temporais de longo alcance.
  • Precisão competitiva com LSTM em muitos "benchmarks" de PNL e séries temporais, apesar de sua arquitetura mais simples.
  • Mais fácil de ajustar: menos hiperparâmetros (tamanho oculto, número de camadas, "dropout") do que a LSTM.
  • Variantes bidirecionais e empilhadas são fáceis de implementar para representações contextuais mais ricas.

Aplicações

  • Classificação de texto e análise de sentimento em documentos de comprimento curto a médio.
  • Reconhecimento de entidade nomeada e rotulagem de sequência em "pipelines" de PNL.
  • Previsão de séries temporais para dados de sensores, preços de ações e consumo de energia.
  • Reconhecimento de fala e modelagem de características de áudio.
  • Arquiteturas de "encoder-decoder" para tradução automática.
  • Detecção de anomalias em logs de eventos sequenciais e fluxos de monitoramento.

Como funciona

Como funciona

1

A cada passo de tempo, o "gate" de atualização calcula um valor entre 0 e 1 usando a entrada atual e o estado oculto anterior. Um valor próximo de 1 significa que a maior parte do estado oculto anterior é preservada; próximo de 0 significa que é majoritariamente substituída. Este único "gate" substitui os "gates" de entrada e de esquecimento da LSTM.

Fórmula
z_t = \sigma(W_z x_t + U_z h_{t-1} + b_z)
2

O "gate" de reset, de forma similar, produz um valor entre 0 e 1 que modula o quanto do estado oculto anterior é exposto ao calcular o novo estado candidato. Um valor próximo de 0 efetivamente permite que a rede ignore o contexto anterior, permitindo que ela se reinicie e se concentre na entrada atual.

Fórmula
r_t = \sigma(W_r x_t + U_r h_{t-1} + b_r)
3

Um estado oculto candidato é calculado usando a entrada atual e o estado oculto anterior "reset-gated" via uma ativação tanh. Isso representa a nova informação que a célula armazenaria se o "gate" de atualização permitisse a substituição completa do estado anterior.

Fórmula
\tilde{h}_t = \tanh(W x_t + U(r_t \odot h_{t-1}) + b)
4

O estado oculto final é uma interpolação linear entre o estado oculto anterior e o candidato: o peso do "gate" de atualização determina o quanto de cada um deve ser mantido. Essa combinação convexa propaga gradientes de forma limpa ao longo do tempo, ajudando a rede a aprender dependências de longo alcance.

Fórmula
h_t = (1 - z_t) \odot h_{t-1} + z_t \odot \tilde{h}_t
5

O estado oculto no passo de tempo final (ou em cada passo de tempo) é passado por uma camada linear e softmax (para classificação) ou uma ativação linear (para regressão) para produzir as previsões do modelo. Para tarefas de sequência-para-sequência, os estados ocultos em todos os passos de tempo são utilizados.

Fórmula
\hat{y}_t = \text{softmax}(W_o h_t + b_o)

Erros comuns

  • Usar GRU em dados tabulares de tamanho fixo, onde o viés indutivo sequencial não agrega valor sobre uma MLP simples.
  • Negligenciar o preenchimento ("padding") e a máscara ("masking") de sequências de comprimento variável, fazendo com que o modelo aprenda artefatos de preenchimento.
  • Deixar de aplicar o "gradient clipping", arriscando "exploding gradients" durante a retropropagação no tempo.
  • Reportar apenas a precisão sem métricas em nível de sequência, como F1, BLEU ou MAE, dependendo da tarefa.
  • Escolher GRU para PNL de documentos longos quando um Transformer pré-treinado (BERT, RoBERTa) seria muito mais poderoso.

Perguntas frequentes

Quando devo escolher GRU em vez de LSTM?

GRU é uma boa opção padrão quando a velocidade de treinamento e a eficiência de parâmetros são importantes e suas sequências não são extremamente longas. LSTM pode ter uma vantagem em sequências muito longas graças à sua célula de memória dedicada, mas os resultados empíricos são frequentemente específicos da tarefa, então experimente ambos e compare em um conjunto de validação.

A GRU pode lidar com sequências de comprimento variável?

Sim. Preencha as sequências para um comprimento uniforme dentro de cada lote e, em seguida, use uma camada de máscara ou o mecanismo de sequência empacotada no PyTorch para instruir a GRU a ignorar os tokens de preenchimento. Sem mascaramento, o modelo aprende padrões espúrios do preenchimento.

Devo usar uma GRU bidirecional?

Para tarefas em que a sequência completa está disponível no momento da inferência — como classificação de texto ou NER — uma GRU bidirecional (BiGRU) processa cada sequência tanto para frente quanto para trás, dando a cada token acesso ao contexto passado e futuro. Para previsão em tempo real ou causal, apenas a direção para frente é válida.

A GRU ainda é competitiva com os Transformers?

Para conjuntos de dados pequenos a médios e sequências mais curtas, a GRU permanece competitiva e treina muito mais rápido do que um Transformer sem pré-treinamento. Para tarefas de PNL em larga escala, Transformers pré-treinados (BERT, RoBERTa) geralmente superam a GRU por uma ampla margem.

Quais são os principais hiperparâmetros a serem ajustados?

Os mais importantes são o tamanho oculto (número de unidades por camada), o número de camadas empilhadas (1 a 3 é comum), a taxa de "dropout" entre as camadas e a taxa de aprendizado. O "gradient clipping" (norma máxima em torno de 1 a 5) é fortemente recomendado para estabilizar o treinamento.

Métodos relacionados

Fontes

  1. Cho, K., van Merrienboer, B., Gulcehre, C., Bahdanau, D., Bougares, F., Schwenk, H., & Bengio, Y. (2014). Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation. In Proceedings of EMNLP 2014, pp. 1724–1734.

    Abrir referência da publicação
    Copiado.
  2. Chung, J., Gulcehre, C., Cho, K., & Bengio, Y. (2014). Empirical Evaluation of Gated Recurrent Neural Networks on Sequence Modeling. NIPS 2014 Deep Learning Workshop.

    Abrir referência da publicação
    Copiado.