Skip to content
Voltar aos resultados

Unidade Recorrente Gated (GRU)

Proposto por
Cho, K. et al.
Ano
2014
Tipo
Gated recurrent neural network unit

Este texto é uma tradução automática e ainda não foi revisado. Ler o original em inglês

Tamanho da fonte

O que ele faz?

A Unidade Recorrente Gated (GRU) é uma célula de rede neural recorrente gated introduzida por Cho e colegas em 2014 que captura dependências de longo alcance em dados sequenciais usando portas de atualização e reset, alcançando desempenho comparável ao LSTM com menos parâmetros.

A intuição por trás do método

Uma rede recorrente simples tem dificuldade em reter informações em sequências longas porque o sinal enfraquece ou explode à medida que é passado passo a passo. A GRU adiciona pequenas portas que aprendem, a cada passo de tempo, o quanto do passado deve ser mantido e o quanto de nova informação deve ser absorvida. Com apenas duas portas em vez das três do LSTM, ela transporta memória útil por longos períodos, mantendo-se mais leve e rápida para treinar.

História

A GRU foi introduzida por Kyunghyun Cho e colegas em 2014 dentro de uma estrutura de codificador-decodificador RNN para tradução automática estatística. Mais tarde naquele ano, Chung, Gulcehre, Cho e Bengio avaliaram empiricamente as unidades recorrentes gated em comparação com LSTM em tarefas de modelagem de sequência, mostrando que a GRU de duas portas, mais simples, poderia igualar o desempenho do LSTM usando menos parâmetros, o que a tornou uma alternativa mais leve e popular para modelagem de sequência.

Quando usar

É uma boa opção para previsão, prognóstico e classificação em dados sequenciais — séries temporais ou sequências longitudinais de valores contínuos ou texto — quando dependências de longo alcance são importantes e um treinamento mais rápido que o LSTM é desejável, com pelo menos cerca de 100 observações. Não assume dados com distribuição normal. Com menos de cerca de 500 sequências, o risco de overfitting é alto e um modelo mais simples, como Random Forest, é mais seguro; abaixo de cerca de 100, o treinamento recorrente não é significativo e o XGBoost é preferível.

Limitações e considerações

  • Alto risco de overfitting em conjuntos de dados pequenos (menos de cerca de 500 sequências).
  • Requer dados sequenciais; não é significativa abaixo de aproximadamente 100 observações.
  • Como uma caixa preta recorrente, não oferece coeficientes explícitos para interpretar.
  • Como todos os modelos recorrentes, pode ser sensível ao comprimento da sequência e à configuração do treinamento.

As condições da fonte não substituem a revisão científica independente nem a validação por um motor de análise.

Pontos fortes

  • Captura dependências de longo alcance em dados sequenciais através de portas de atualização e reset aprendidas.
  • Precisão comparável ao LSTM com menos parâmetros, o que a torna mais rápida para treinar.
  • Poucas suposições: não requer dados com distribuição normal.
  • Bem adequada para séries temporais e sequências longitudinais de valores contínuos ou texto.

Aplicações

  • Previsão e prognóstico em séries temporais e sequências longitudinais.
  • Classificação de sequência sobre entradas de valores contínuos ou texto.
  • Modelagem de dependências de longo alcance onde a capacidade de nível LSTM é necessária a um custo menor.
  • Uma linha de base recorrente mais rápida antes de recorrer a modelos de sequência mais pesados.

Como funciona

Como funciona

1

A cada passo de tempo, a unidade calcula duas portas a partir da entrada atual e do estado oculto anterior. A porta de atualização decide o quanto do estado anterior deve ser levado adiante versus o quanto deve ser atualizado, enquanto a porta de reset decide o quanto do passado deve ser ignorado ao formar um novo estado candidato. Ambas são comprimidas por uma sigmoide em valores entre zero e um.

Fórmula
z_t = \sigma(W_z x_t + U_z h_{t-1}), \quad r_t = \sigma(W_r x_t + U_r h_{t-1})
2

Um estado oculto candidato é proposto a partir da entrada atual combinada com o estado anterior filtrado através da porta de reset. Quando a porta de reset está próxima de zero, a unidade efetivamente esquece o passado e reage à nova entrada; quando próxima de um, ela mescla o contexto anterior no novo candidato.

Fórmula
\tilde{h}_t = \tanh(W x_t + U(r_t \odot h_{t-1}))
3

O novo estado oculto é uma interpolação gated entre o estado anterior e o candidato, controlada pela porta de atualização. Este único passo de mesclagem permite que a unidade preserve a memória por muitos passos de tempo ou atualize rapidamente, o que permite que as GRUs capturem dependências de longo prazo sem uma célula de memória separada.

Fórmula
h_t = (1 - z_t) \odot h_{t-1} + z_t \odot \tilde{h}_t

Erros comuns

  • Aplicar GRU a um conjunto de dados sequenciais minúsculo onde ela simplesmente memoriza os dados de treinamento.
  • Esquecer que as entradas devem formar sequências genuínas, não linhas tabulares não ordenadas.
  • Pular uma divisão adequada de treinamento/validação e confiar no ajuste da sequência na amostra.
  • Recorrer a uma rede recorrente quando um modelo mais simples generalizaria melhor em dados pequenos.

Perguntas frequentes

Como uma GRU difere de um LSTM?

Uma GRU usa duas portas (atualização e reset) e um único estado oculto, enquanto um LSTM usa três portas e uma célula de memória separada. A GRU, portanto, tem menos parâmetros e treina mais rápido, alcançando desempenho comparável em muitas tarefas de sequência.

Quantos dados uma GRU precisa?

Ela precisa de dados sequenciais com pelo menos cerca de 100 observações. Abaixo de aproximadamente 500 sequências, o risco de overfitting é alto, então um modelo mais simples, como Random Forest, é mais seguro; abaixo de cerca de 100, uma rede recorrente não é significativa e o XGBoost é preferível.

A GRU assume dados com distribuição normal?

Não. Como outras redes neurais recorrentes, ela não faz suposições de normalidade; o que ela requer é uma entrada genuinamente sequencial, como uma série temporal ou sequência longitudinal.

Quando devo preferir uma GRU a um modelo mais pesado?

Escolha uma GRU quando precisar capturar dependências de longo alcance em sequências, mas desejar um treinamento mais rápido e leve do que o LSTM, e tiver dados sequenciais suficientes para evitar o overfitting.

Métodos relacionados

Fontes

  1. Cho, K. et al. (2014). Learning Phrase Representations using RNN Encoder–Decoder for Statistical Machine Translation. EMNLP.

    Abrir referência da publicação
    Copiado.
  2. Chung, J., Gulcehre, C., Cho, K. & Bengio, Y. (2014). Empirical Evaluation of Gated Recurrent Neural Networks on Sequence Modeling. NIPS 2014 Deep Learning Workshop. arXiv:1412.3555

    Abrir referência da publicação
    Copiado.