Modelo Sequência-para-Sequência
- Proposto por
- Sutskever, I.; Cho, K.
- Ano
- 2014
- Tipo
- Encoder-decoder neural network (deep learning)
Este texto é uma tradução automática e ainda não foi revisado. Ler o original em inglês
O que ele faz?
O modelo sequência-para-sequência (Seq2Seq), introduzido por Sutskever, Vinyals e Le e por Cho e colegas em 2014, é uma rede neural codificador-decodificador que mapeia uma sequência de entrada de comprimento variável para uma sequência de saída de comprimento variável.
É a base da tradução automática, sumarização de texto, sistemas de diálogo e geração de código.
A intuição por trás do método
Muitas tarefas de linguagem transformam uma sequência em outra cujo comprimento difere e não é conhecido antecipadamente — uma frase em inglês torna-se uma frase de comprimento diferente em francês. Um único classificador não pode fazer isso. O Seq2Seq divide o trabalho em dois: uma rede lê toda a entrada e comprime seu significado em uma representação de contexto, e uma segunda rede desdobra essa representação na saída, um token por vez, com cada novo token condicionado ao que já produziu.
História
O framework codificador-decodificador surgiu em 2014 a partir de dois artigos quase simultâneos: 'Sequence to Sequence Learning with Neural Networks' de Sutskever, Vinyals e Le e o codificador-decodificador RNN de Cho e colegas para tradução automática estatística. Os modelos originais comprimiam a fonte em um único vetor de contexto fixo; a adição subsequente de atenção removeu esse gargalo e melhorou dramaticamente a qualidade da tradução, abrindo caminho para a arquitetura Transformer que agora domina a modelagem de sequências.
Quando usar
Use Seq2Seq quando a tarefa for transformar uma sequência de comprimento variável em outra — tradução automática, sumarização, diálogo ou geração de código — e você tiver exemplos pareados fonte-alvo, idealmente pelo menos cerca de 500 deles. Ele se adapta a texto e sequências contínuas em formato de séries temporais ou corte transversal e não requer dados com distribuição normal. Uma GPU é recomendada. Com muito menos de 500 pares, a estrutura codificador-decodificador não pode ser bem aprendida, e modelos mais simples como Random Forest ou XGBoost são mais seguros.
Limitações e considerações
- Necessita de um corpus considerável de exemplos pareados fonte-alvo (cerca de 500 ou mais) para treinar bem.
- Uma GPU é recomendada; o treinamento é computacionalmente exigente.
- Comprimir uma entrada longa em um único contexto fixo pode levar à perda de informações sem atenção.
- Em conjuntos de dados pequenos, a estrutura codificador-decodificador não pode ser aprendida e o modelo sofre de overfitting.
As condições da fonte não substituem a revisão científica independente nem a validação por um motor de análise.
Pontos fortes
- Lida com entradas e saídas de comprimento variável, ao contrário de classificadores de saída fixa.
- Um framework único e geral para tradução, sumarização, diálogo e geração de código.
- Treinado de ponta a ponta a partir de exemplos pareados fonte-alvo sem alinhamento manual.
- O desempenho melhora substancialmente quando um mecanismo de atenção é adicionado.
- Poucas suposições: sem requisito de normalidade; funciona com texto e dados de sequência contínua.
Aplicações
- Tradução automática entre pares de idiomas.
- Sumarização de texto abstrativa.
- Geração de diálogo e resposta conversacional.
- Geração de código a partir de descrições em linguagem natural.
Como funciona
Como funciona
Uma rede codificadora lê a sequência de entrada token por token e comprime toda a fonte em uma representação de contexto que resume seu significado. Como o codificador processa toda a entrada antes que qualquer saída seja produzida, o modelo pode lidar com entradas de qualquer comprimento.
Fórmula
c = \text{Encoder}(x_1, \dots, x_T)Uma rede decodificadora gera a sequência de saída um token por vez. A cada passo, ela se condiciona ao contexto do codificador juntamente com os tokens que já emitiu, prevendo uma distribuição de probabilidade sobre o próximo token até que um símbolo de parada finalize a sequência. Isso permite que o comprimento da saída difira da entrada.
Fórmula
p(y_t \mid y_{<t}, c)Codificador e decodificador são treinados conjuntamente para maximizar a verossimilhança da sequência alvo correta dada a fonte — a supervisão vem de exemplos pareados fonte-alvo. Adicionar um mecanismo de atenção, que permite ao decodificador olhar para todos os estados do codificador em vez de um único contexto fixo, melhora o desempenho, e uma GPU é recomendada para o treinamento.
Fórmula
\max_{\theta} \sum \log p(y \mid x; \theta)Erros comuns
- Treinar com poucos pares fonte-alvo, onde o modelo sofre de overfitting e falha em aprender o mapeamento.
- Omitir um mecanismo de atenção em sequências longas e perder o contexto distante.
- Tentar treinar sem recursos de GPU e abandonar antes da convergência.
- Usar Seq2Seq para uma tarefa de saída fixa que um classificador ou regressor mais simples lidaria melhor.
Perguntas frequentes
Quantos dados o Seq2Seq precisa?
Ele precisa de exemplos pareados fonte-alvo — idealmente pelo menos cerca de 500. Abaixo de aproximadamente 200 pares, o modelo sofre de overfitting e não consegue aprender a transformação da sequência; com muito poucos dados, um modelo mais simples como Random Forest ou XGBoost é mais seguro.
Preciso de uma GPU?
Uma GPU é recomendada. Treinar um codificador-decodificador em muitos pares de sequências é computacionalmente exigente, e o treinamento apenas com CPU é frequentemente impraticavelmente lento.
O que a adição de atenção faz?
A atenção permite que o decodificador olhe para todos os estados do codificador a cada passo, em vez de depender de um único vetor de contexto fixo. Isso remove o gargalo de informação de sequências longas e melhora substancialmente a qualidade da saída.
Como o Seq2Seq difere de um classificador?
Um classificador produz uma saída fixa, como um único rótulo. O Seq2Seq produz uma sequência de saída de comprimento variável cujo comprimento é decidido durante a geração, o que o torna adequado para tradução, sumarização e tarefas semelhantes.
Métodos relacionados
Fontes
Sutskever, I., Vinyals, O. & Le, Q. V. (2014). Sequence to Sequence Learning with Neural Networks. NeurIPS.
Abrir referência da publicaçãoCopiado.Cho, K., van Merriënboer, B., Gulcehre, C., Bahdanau, D., Bougares, F., Schwenk, H. & Bengio, Y. (2014). Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation. EMNLP, 1724–1734.
Abrir referência DOICopiado.