Skip to content
Voltar aos resultados

RNN Bidirecional

Proposto por
Schuster, M. & Paliwal, K.K.
Ano
1997
Tipo
Recurrent neural network (sequence model)

Este texto é uma tradução automática e ainda não foi revisado. Ler o original em inglês

Tamanho da fonte

O que ele faz?

Uma RNN Bidirecional, introduzida por Schuster e Paliwal em 1997, processa uma sequência em ambas as direções, para a frente e para trás, de modo que cada posição tenha acesso ao seu contexto circundante completo.

Com células LSTM ou GRU (BiLSTM/BiGRU) é a abordagem padrão para reconhecimento de entidades nomeadas, rotulagem de sequências e reconhecimento de fala.

A intuição por trás do método

Uma RNN comum lê uma sequência da esquerda para a direita, de modo que em qualquer ponto ela só sabe o que veio antes. Mas o significado de uma palavra ou sinal muitas vezes depende também do que vem depois. Uma RNN bidirecional resolve isso executando duas passagens — uma para a frente, uma para trás — e combinando-as, de modo que cada posição seja informada tanto pelo seu contexto passado quanto pelo futuro.

História

A rede neural recorrente bidirecional foi introduzida por Schuster e Paliwal em 1997 para dar a cada posição acesso ao contexto passado e futuro. Graves e Schmidhuber estenderam a ideia com células LSTM em 2005 para classificação de fonemas quadro a quadro, estabelecendo a LSTM bidirecional como um cavalo de batalha para tarefas de fala e rotulagem de sequências. As variantes BiLSTM e BiGRU tornaram-se padrão em processamento de linguagem natural antes da ascensão das arquiteturas Transformer.

Quando usar

Use-a para rotulagem de sequências, classificação de texto ou previsão em dados sequenciais ou longitudinais — como NER, marcação de classes gramaticais, ou reconhecimento de fala — quando tanto o contexto precedente quanto o seguinte importam e a sequência inteira está disponível de uma vez. Funciona em texto e sequências contínuas e não assume dados normalmente distribuídos, mas precisa de uma quantidade razoável de dados (pelo menos cerca de 100 sequências, e confortavelmente mais para treinamento estável).

Limitações e considerações

  • Precisa de toda a sequência antecipadamente, portanto, é inadequada para streaming ou geração em tempo real onde a entrada futura é desconhecida.
  • Em conjuntos de dados pequenos (abaixo de aproximadamente 500 sequências) ela sofre de sobreajuste e o contexto não pode ser extraído de forma confiável.
  • Com amostras muito pequenas (abaixo de cerca de 100) o treinamento de uma BiLSTM/BiGRU não é significativo.
  • Duas passagens aproximadamente dobram a computação e a memória de uma RNN unidirecional.

As condições da fonte não substituem a revisão científica independente nem a validação por um motor de análise.

Pontos fortes

  • Cada posição vê o contexto passado e futuro, que é a escolha padrão e forte para rotulagem de sequências como NER.
  • Poucas suposições: sem requisito de normalidade, funciona diretamente em texto e sequências contínuas.
  • Emparelha naturalmente com células LSTM ou GRU para lidar com dependências de longo alcance.
  • Bem estabelecida para reconhecimento de fala e outras tarefas de classificação quadro a quadro.

Aplicações

  • Reconhecimento de entidades nomeadas e rotulagem de sequências.
  • Marcação de classes gramaticais e outras anotações de texto em nível de token.
  • Reconhecimento de fala e fonemas.
  • Classificação de texto e previsão em dados sequenciais ou longitudinais.

Como funciona

Como funciona

1

Uma camada recorrente lê a sequência de início a fim, construindo um estado oculto em cada posição que resume tudo o que foi visto até agora. Esta é a mesma passagem da esquerda para a direita que uma RNN, LSTM ou GRU padrão executa.

Fórmula
\overrightarrow{h}_t = f(x_t, \overrightarrow{h}_{t-1})
2

Uma segunda camada recorrente lê a mesma sequência ao contrário, de fim a início, produzindo um estado oculto em cada posição que resume o contexto futuro. É isso que dá ao modelo conhecimento do que segue cada token.

Fórmula
\overleftarrow{h}_t = f(x_t, \overleftarrow{h}_{t+1})
3

Em cada posição, os estados ocultos para a frente e para trás são concatenados em uma única representação que captura o contexto bidirecional completo. Este vetor combinado é então passado para a camada de saída para rotulagem, classificação ou previsão.

Fórmula
h_t = [\overrightarrow{h}_t ; \overleftarrow{h}_t]

Erros comuns

  • Aplicá-la a tarefas em tempo real ou generativas onde a parte futura da sequência ainda não está disponível.
  • Treinar com dados insuficientes e confiar no resultado apesar do sobreajuste.
  • Ignorar que a representação oculta duplicada aumenta o custo de computação e memória.
  • Recorrer a um modelo bidirecional pesado quando um ensemble de árvores seria mais seguro em amostras pequenas.

Perguntas frequentes

Como uma RNN bidirecional difere de uma RNN normal?

Uma RNN normal lê uma sequência em uma direção, então cada posição só conhece o passado. Uma RNN bidirecional adiciona uma segunda passagem na direção reversa e combina ambas, de modo que cada posição seja informada pelo contexto futuro também.

Quando não posso usá-la?

Ela precisa da sequência inteira de uma vez, portanto, é inadequada para configurações em tempo real ou generativas onde os tokens futuros ainda não são conhecidos. Nesses casos, um modelo unidirecional é necessário.

Quanta quantidade de dados eu preciso?

Pelo menos cerca de 100 sequências como um mínimo, mas o treinamento só é confiável com confortavelmente mais — abaixo de aproximadamente 500 o modelo tende a sofrir de sobreajuste e o contexto não pode ser extraído de forma confiável. Em amostras muito pequenas, um ensemble de árvores como random forest ou XGBoost é mais seguro.

Qual é a diferença entre BiLSTM e BiGRU?

Ambas são RNNs bidirecionais; elas diferem na célula recorrente. BiLSTM usa células LSTM e BiGRU usa células GRU, ambas projetadas para capturar dependências de longo alcance melhor do que uma RNN simples.

Métodos relacionados

Fontes

  1. Schuster, M. & Paliwal, K.K. (1997). Bidirectional Recurrent Neural Networks. IEEE Transactions on Signal Processing, 45(11), 2673–2681.

    Abrir referência DOI
    Copiado.
  2. Graves, A. & Schmidhuber, J. (2005). Framewise Phoneme Classification with Bidirectional LSTM Networks. IJCNN, 2047–2052.

    Abrir referência DOI
    Copiado.