Skip to content
Voltar aos resultados

Modelo Sequência-para-Sequência

Proposto por
Sutskever, I.; Cho, K.
Ano
2014
Tipo
Encoder-decoder neural network (deep learning)

Este texto é uma tradução automática e ainda não foi revisado. Ler o original em inglês

Tamanho da fonte

O que ele faz?

O modelo sequência-para-sequência (Seq2Seq), introduzido por Sutskever, Vinyals e Le e por Cho e colegas em 2014, é uma rede neural codificador-decodificador que mapeia uma sequência de entrada de comprimento variável para uma sequência de saída de comprimento variável.

É a base da tradução automática, sumarização de texto, sistemas de diálogo e geração de código.

A intuição por trás do método

Muitas tarefas de linguagem transformam uma sequência em outra cujo comprimento difere e não é conhecido antecipadamente — uma frase em inglês torna-se uma frase de comprimento diferente em francês. Um único classificador não pode fazer isso. O Seq2Seq divide o trabalho em dois: uma rede lê toda a entrada e comprime seu significado em uma representação de contexto, e uma segunda rede desdobra essa representação na saída, um token por vez, com cada novo token condicionado ao que já produziu.

História

O framework codificador-decodificador surgiu em 2014 a partir de dois artigos quase simultâneos: 'Sequence to Sequence Learning with Neural Networks' de Sutskever, Vinyals e Le e o codificador-decodificador RNN de Cho e colegas para tradução automática estatística. Os modelos originais comprimiam a fonte em um único vetor de contexto fixo; a adição subsequente de atenção removeu esse gargalo e melhorou dramaticamente a qualidade da tradução, abrindo caminho para a arquitetura Transformer que agora domina a modelagem de sequências.

Quando usar

Use Seq2Seq quando a tarefa for transformar uma sequência de comprimento variável em outra — tradução automática, sumarização, diálogo ou geração de código — e você tiver exemplos pareados fonte-alvo, idealmente pelo menos cerca de 500 deles. Ele se adapta a texto e sequências contínuas em formato de séries temporais ou corte transversal e não requer dados com distribuição normal. Uma GPU é recomendada. Com muito menos de 500 pares, a estrutura codificador-decodificador não pode ser bem aprendida, e modelos mais simples como Random Forest ou XGBoost são mais seguros.

Limitações e considerações

  • Necessita de um corpus considerável de exemplos pareados fonte-alvo (cerca de 500 ou mais) para treinar bem.
  • Uma GPU é recomendada; o treinamento é computacionalmente exigente.
  • Comprimir uma entrada longa em um único contexto fixo pode levar à perda de informações sem atenção.
  • Em conjuntos de dados pequenos, a estrutura codificador-decodificador não pode ser aprendida e o modelo sofre de overfitting.

As condições da fonte não substituem a revisão científica independente nem a validação por um motor de análise.

Pontos fortes

  • Lida com entradas e saídas de comprimento variável, ao contrário de classificadores de saída fixa.
  • Um framework único e geral para tradução, sumarização, diálogo e geração de código.
  • Treinado de ponta a ponta a partir de exemplos pareados fonte-alvo sem alinhamento manual.
  • O desempenho melhora substancialmente quando um mecanismo de atenção é adicionado.
  • Poucas suposições: sem requisito de normalidade; funciona com texto e dados de sequência contínua.

Aplicações

  • Tradução automática entre pares de idiomas.
  • Sumarização de texto abstrativa.
  • Geração de diálogo e resposta conversacional.
  • Geração de código a partir de descrições em linguagem natural.

Como funciona

Como funciona

1

Uma rede codificadora lê a sequência de entrada token por token e comprime toda a fonte em uma representação de contexto que resume seu significado. Como o codificador processa toda a entrada antes que qualquer saída seja produzida, o modelo pode lidar com entradas de qualquer comprimento.

Fórmula
c = \text{Encoder}(x_1, \dots, x_T)
2

Uma rede decodificadora gera a sequência de saída um token por vez. A cada passo, ela se condiciona ao contexto do codificador juntamente com os tokens que já emitiu, prevendo uma distribuição de probabilidade sobre o próximo token até que um símbolo de parada finalize a sequência. Isso permite que o comprimento da saída difira da entrada.

Fórmula
p(y_t \mid y_{<t}, c)
3

Codificador e decodificador são treinados conjuntamente para maximizar a verossimilhança da sequência alvo correta dada a fonte — a supervisão vem de exemplos pareados fonte-alvo. Adicionar um mecanismo de atenção, que permite ao decodificador olhar para todos os estados do codificador em vez de um único contexto fixo, melhora o desempenho, e uma GPU é recomendada para o treinamento.

Fórmula
\max_{\theta} \sum \log p(y \mid x; \theta)

Erros comuns

  • Treinar com poucos pares fonte-alvo, onde o modelo sofre de overfitting e falha em aprender o mapeamento.
  • Omitir um mecanismo de atenção em sequências longas e perder o contexto distante.
  • Tentar treinar sem recursos de GPU e abandonar antes da convergência.
  • Usar Seq2Seq para uma tarefa de saída fixa que um classificador ou regressor mais simples lidaria melhor.

Perguntas frequentes

Quantos dados o Seq2Seq precisa?

Ele precisa de exemplos pareados fonte-alvo — idealmente pelo menos cerca de 500. Abaixo de aproximadamente 200 pares, o modelo sofre de overfitting e não consegue aprender a transformação da sequência; com muito poucos dados, um modelo mais simples como Random Forest ou XGBoost é mais seguro.

Preciso de uma GPU?

Uma GPU é recomendada. Treinar um codificador-decodificador em muitos pares de sequências é computacionalmente exigente, e o treinamento apenas com CPU é frequentemente impraticavelmente lento.

O que a adição de atenção faz?

A atenção permite que o decodificador olhe para todos os estados do codificador a cada passo, em vez de depender de um único vetor de contexto fixo. Isso remove o gargalo de informação de sequências longas e melhora substancialmente a qualidade da saída.

Como o Seq2Seq difere de um classificador?

Um classificador produz uma saída fixa, como um único rótulo. O Seq2Seq produz uma sequência de saída de comprimento variável cujo comprimento é decidido durante a geração, o que o torna adequado para tradução, sumarização e tarefas semelhantes.

Métodos relacionados

Fontes

  1. Sutskever, I., Vinyals, O. & Le, Q. V. (2014). Sequence to Sequence Learning with Neural Networks. NeurIPS.

    Abrir referência da publicação
    Copiado.
  2. Cho, K., van Merriënboer, B., Gulcehre, C., Bahdanau, D., Bougares, F., Schwenk, H. & Bengio, Y. (2014). Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation. EMNLP, 1724–1734.

    Abrir referência DOI
    Copiado.