Skip to content
Voltar aos resultados

Rede Neural Recorrente

Proposto por
Rumelhart, D. E.; Elman, J. L.
Ano
1986–1990
Tipo
Sequential neural network
Família
Deep learning / NLP / CV

Este texto é uma tradução automática e ainda não foi revisado. Ler o original em inglês

Tamanho da fonte

O que ele faz?

Uma Rede Neural Recorrente (RNN) é uma classe de rede neural projetada para processar dados sequenciais, mantendo um estado oculto que carrega informações através dos passos de tempo.

Introduzidas em sua forma moderna por Rumelhart et al. (1986) e moldadas posteriormente por Elman (1990), as RNNs tornaram-se a arquitetura dominante para modelagem de sequências em PLN, fala e análise de séries temporais antes do surgimento de modelos baseados em atenção.

A intuição por trás do método

Ao contrário das redes feedforward que tratam cada entrada independentemente, uma RNN processa uma sequência um elemento de cada vez e passa um resumo do que viu até agora — seu estado oculto — para o próximo passo. Pense nisso como ler uma frase palavra por palavra: a cada palavra, você atualiza sua compreensão à luz de todas as palavras anteriores. Essa conexão recorrente permite que a rede capture dependências temporais e contexto, tornando-a naturalmente adequada para tarefas onde a ordem importa e o contexto passado molda o significado do elemento atual.

História

As bases das redes recorrentes foram estabelecidas por Rumelhart, Hinton e Williams em 1986 com o algoritmo de retropropagação através do tempo, e o artigo de Elman de 1990 popularizou a arquitetura de rede recorrente simples para modelagem cognitiva. Ao longo das décadas de 1990 e 2000, as RNNs impulsionaram o reconhecimento de fala e a modelagem de linguagem, embora seu impacto prático tenha sido limitado pelo problema do desaparecimento de gradiente até que Hochreiter e Schmidhuber introduziram o LSTM em 1997. As RNNs permanecem importantes como âncoras conceituais e linhas de base leves.

Quando usar

Use uma RNN quando seus dados forem sequenciais e a ordem tiver significado — texto, fala, fluxos de sensores, séries temporais financeiras ou sequências biológicas de comprimento moderado (até algumas centenas de passos). É apropriado quando você precisa de uma arquitetura recorrente compacta ou quando a integração downstream com variantes LSTM/GRU é planejada. Não use uma RNN vanilla para sequências mais longas que algumas centenas de passos: o desaparecimento de gradientes a impede de aprender dependências de longo alcance, onde LSTM ou GRU são muito mais eficazes. Para tarefas de compreensão de linguagem natural em 2024+, transformadores pré-treinados (BERT, RoBERTa) quase sempre superam as RNNs. Use RNNs principalmente como um componente em arquiteturas maiores ou como uma linha de base para tarefas de sequência.

Limitações e considerações

  • Grave problema de desaparecimento/explosão de gradiente para sequências mais longas que aproximadamente 50–200 passos; LSTM ou GRU devem ser preferidos.
  • A computação sequencial não pode ser paralelizada entre passos de tempo, tornando o treinamento lento em sequências longas em comparação com arquiteturas convolucionais ou de transformador.
  • Substancialmente superado na maioria dos benchmarks de PLN por modelos de transformador pré-treinados, como BERT e RoBERTa.
  • Capacidade de memória limitada: o estado oculto de dimensão fixa tem dificuldade em comprimir o contexto de longo alcance.

As condições da fonte não substituem a revisão científica independente nem a validação por um motor de análise.

Pontos fortes

  • Processa naturalmente sequências de comprimento variável sem exigir preenchimento para um tamanho de janela fixo.
  • O compartilhamento de parâmetros entre passos de tempo mantém o tamanho do modelo gerenciável em relação ao comprimento da entrada.
  • Forma a base conceitual e prática para LSTM, GRU e muitos modelos de sequência modernos.
  • Adequado como uma linha de base leve para classificação e regressão de sequências antes de arquiteturas mais caras.
  • Pode produzir saídas em cada passo de tempo, permitindo tarefas muitos-para-muitos, como marcação de sequência e tradução.

Aplicações

  • Classificação de texto e análise de sentimento em documentos de comprimento curto a médio.
  • Modelagem de linguagem e previsão da próxima palavra em nível de caractere ou palavra.
  • Previsão de séries temporais para dados de sensores, financeiros ou fisiológicos de comprimento moderado.
  • Tarefas de marcação de sequência, como marcação de parte da fala, quando usadas como codificador.
  • Pipelines de reconhecimento de fala para texto e extração de características de áudio.
  • Modelagem de sequência de linha de base antes de atualizar para arquiteturas LSTM, GRU ou transformador.

Como funciona

Como funciona

1

A entrada é uma sequência de vetores (palavras, passos de tempo, quadros) alimentada à rede um elemento de cada vez. Cada elemento x_t é emparelhado com o estado oculto h_{t-1} vindo do passo anterior, permitindo que o contexto se acumule ao longo de toda a sequência.

2

Em cada passo t, o estado oculto é atualizado como h_t = tanh(W_h * h_{t-1} + W_x * x_t + b). As matrizes de peso W_h e W_x são compartilhadas em todos os passos de tempo, de modo que o modelo aprende uma única regra de transição que é aplicada repetidamente, independentemente do comprimento da sequência.

Fórmula
h_t = \tanh(W_h h_{t-1} + W_x x_t + b)
3

Uma saída y_t é calculada a partir do estado oculto em cada passo de tempo (muitos-para-muitos) ou apenas no passo final (muitos-para-um). Para tarefas de classificação, o estado oculto final é passado para uma camada softmax; para tarefas de sequência-para-sequência, as saídas são produzidas em cada passo.

Fórmula
y_t = W_y h_t + b_y
4

O treinamento usa retropropagação através do tempo (BPTT): os gradientes fluem para trás através da sequência desdobrada para atualizar todos os pesos compartilhados. Para sequências longas, isso leva ao problema do desaparecimento ou explosão de gradientes, onde os gradientes se tornam muito pequenos ou muito grandes para atualizar os passos de tempo iniciais de forma confiável.

5

Pesos compartilhados W_h, W_x e W_y são atualizados via descida de gradiente ou um otimizador adaptativo (Adam, RMSProp). O recorte de gradiente é comumente aplicado para prevenir a explosão de gradientes. Os mesmos pesos governam cada passo, de modo que o modelo generaliza para comprimentos de sequência variáveis.

Erros comuns

  • Aplicar uma RNN vanilla a sequências longas sem reconhecer a limitação do desaparecimento de gradiente e comparar com LSTM/GRU.
  • Falha em recortar gradientes, levando a perdas NaN ou treinamento instável em entradas mais longas.
  • Tratar o estado oculto final como um resumo rico sem verificar se a informação da sequência inicial é realmente retida.
  • Pular uma divisão adequada de treino/validação/teste ou validação cruzada, especialmente dada a tendência das RNNs a sobreajustar em pequenos conjuntos de dados.
  • Não normalizar ou escalar características de entrada, o que amplifica a instabilidade do gradiente.

Perguntas frequentes

Qual é a diferença entre uma RNN, uma LSTM e uma GRU?

Uma RNN é a arquitetura recorrente mais simples: possui um único estado oculto atualizado a cada passo. LSTM adiciona portões de entrada, esquecimento e saída que protegem informações de longo alcance contra o desaparecimento de gradientes. GRU é uma versão simplificada da LSTM com menos parâmetros. Tanto LSTM quanto GRU quase sempre superam uma RNN vanilla em tarefas que exigem memória além de ~50–100 passos.

Por que o treinamento de uma RNN às vezes produz perdas NaN?

Perdas NaN quase sempre resultam da explosão de gradientes. Aplique recorte de gradiente (recorte a norma para 1 ou 5) e diminua a taxa de aprendizado. Certifique-se de que as entradas estejam normalizadas. Se o problema persistir, mude para LSTM ou GRU, que são mais estáveis devido aos seus mecanismos de portões.

Posso ainda usar uma RNN para tarefas de PLN em 2024?

Para PLN em produção, transformadores pré-treinados como BERT ou RoBERTa dominam. RNNs vanilla são melhor reservadas como linhas de base leves, componentes dentro de arquiteturas maiores, ou para ambientes com recursos restritos onde tamanhos de modelo grandes são proibitivos.

Como escolho a dimensão do estado oculto?

Escolhas comuns variam de 64 a 512 unidades, dependendo da complexidade da tarefa e do tamanho do conjunto de dados. Comece pequeno (por exemplo, 128), monitore a perda de validação e aumente a capacidade apenas se o subajuste for evidente. Estados ocultos maiores aumentam o risco de sobreajuste em conjuntos de dados pequenos.

Qual função de perda devo usar para classificação de sequência?

Para classificação binária, use entropia cruzada binária; para multiclasse, use entropia cruzada categórica com softmax no estado oculto final. Para rotulagem de sequência (uma saída por passo), aplique a perda em cada passo de tempo e calcule a média ou a soma entre os passos.

Métodos relacionados

Fontes

  1. Elman, J. L. (1990). Finding structure in time. Cognitive Science, 14(2), 179–211.

    Abrir referência DOI
    Copiado.
  2. Rumelhart, D. E., Hinton, G. E., & Williams, R. J. (1986). Learning representations by back-propagating errors. Nature, 323(6088), 533–536.

    Abrir referência DOI
    Copiado.