Skip to content
Voltar aos resultados

Mecanismo de Atenção

Proposto por
Bahdanau, D.; Luong, M.T.
Ano
2015
Tipo
Neural attention layer (encoder-decoder)

Este texto é uma tradução automática e ainda não foi revisado. Ler o original em inglês

Tamanho da fonte

O que ele faz?

O mecanismo de atenção, introduzido por Bahdanau, Cho e Bengio em 2015 e refinado por Luong, Pham e Manning no mesmo ano, permite que um decodificador de sequência aprenda dinamicamente em quais saídas do codificador focar em cada etapa.

Antes do Transformer, melhorou substancialmente a qualidade da tradução automática ao liberar os modelos de comprimir toda a entrada em um único vetor fixo.

A intuição por trás do método

Um codificador-decodificador simples comprime toda a sequência de entrada em um único vetor de contexto fixo, que se torna um gargalo para sequências longas. A atenção remove esse gargalo: a cada etapa de saída, o decodificador olha para todos os estados do codificador e calcula uma combinação ponderada, focando intensamente nas poucas posições que importam para a palavra que está prestes a produzir. É como um tradutor que olha para as palavras mais relevantes da origem em vez de tentar lembrar a frase inteira de uma vez.

História

O mecanismo de atenção foi introduzido por Bahdanau, Cho e Bengio em 2015 para tradução automática neural, aprendendo conjuntamente a alinhar e traduzir para que o modelo não precisasse mais comprimir toda a frase de origem em um único vetor. No mesmo ano, Luong, Pham e Manning propuseram variantes eficazes de produto escalar (multiplicativo). A atenção aumentou substancialmente a qualidade da tradução e se tornou a semente conceitual para a arquitetura Transformer que se seguiu.

Quando usar

Use atenção quando tiver um problema de sequência para sequência — como tradução automática ou outras tarefas de texto e sequência contínua — onde a previsão ou o alinhamento interpretável são importantes e uma arquitetura de sequência para sequência já está implementada. Assume uma arquitetura seq2seq funcional e que um vetor de contexto pode ser computado. Planeje pelo menos algumas centenas de exemplos; com aproximadamente 500 ou menos, o mecanismo tem dificuldade em aprender pesos significativos, e abaixo de cerca de 100, o treinamento baseado em atenção não vale a pena — modelos mais simples como Random Forest ou XGBoost são mais seguros.

Limitações e considerações

  • Requer um backbone seq2seq existente e a capacidade de computar um vetor de contexto.
  • Em conjuntos de dados pequenos (cerca de 500 exemplos ou menos), não consegue aprender pesos significativos e tende a sobreajustar.
  • Abaixo de aproximadamente 100 observações, o treinamento baseado em atenção é essencialmente sem sentido.
  • Adiciona custo computacional sobre o modelo codificador-decodificador subjacente.

As condições da fonte não substituem a revisão científica independente nem a validação por um motor de análise.

Pontos fortes

  • Remove o gargalo do vetor fixo, melhorando muito o manuseio de sequências longas.
  • Os pesos de atenção fornecem um alinhamento interpretável entre entrada e saída.
  • Foca dinamicamente nas posições mais relevantes do codificador em cada etapa de decodificação.
  • Melhorou substancialmente a qualidade da tradução automática e abriu caminho para o Transformer.

Aplicações

  • Tradução automática neural entre pares de idiomas.
  • Geração de texto e sumarização de sequência para sequência.
  • Previsão sobre sequências contínuas e entradas do tipo série temporal.
  • Produção de alinhamentos interpretáveis de entrada-saída para análise.

Como funciona

Como funciona

1

Em cada etapa de decodificação, o estado atual do decodificador é comparado com cada saída do codificador para produzir uma pontuação de relevância. A atenção estilo Bahdanau (aditiva) aprende essa pontuação com uma pequena rede feed-forward, enquanto a atenção estilo Luong (multiplicativa) usa um produto escalar entre consulta e chaves, que é mais barato de computar.

Fórmula
e_{ij} = \text{score}(s_{i}, h_{j})
2

As pontuações brutas são passadas por uma softmax para que se tornem um conjunto de pesos de atenção que são positivos e somam um em todas as posições de entrada. Esses pesos expressam quanto foco cada saída do codificador deve receber para a etapa atual e podem ser inspecionados como um alinhamento interpretável entre entrada e saída.

Fórmula
\alpha_{ij} = \dfrac{\exp(e_{ij})}{\sum_{k} \exp(e_{ik})}
3

As saídas do codificador são combinadas em um único vetor de contexto como sua soma ponderada, usando os pesos de atenção. Este contexto dinâmico — diferente a cada etapa — é alimentado ao decodificador para que ele possa gerar o próximo elemento enquanto atende às partes mais relevantes da entrada.

Fórmula
c_{i} = \sum_{j} \alpha_{ij}\, h_{j}

Erros comuns

  • Aplicar atenção a um conjunto de dados pequeno demais para aprender pesos estáveis, convidando ao sobreajuste.
  • Tratar pesos de atenção como uma explicação definitiva em vez de uma pista de alinhamento útil, mas parcial.
  • Pular uma base seq2seq e esperar que a atenção funcione por si só.
  • Ignorar que entradas muito curtas ganham pouco com a atenção em relação a um codificador-decodificador simples.

Perguntas frequentes

Que problema a atenção resolve?

Ela remove o gargalo do vetor fixo de modelos simples de codificador-decodificador. Em vez de comprimir toda a entrada em um único vetor de contexto, o decodificador constrói uma nova combinação ponderada de todos os estados do codificador a cada etapa, focando nas posições que mais importam.

Qual a diferença entre a atenção de Bahdanau e a de Luong?

A atenção de Bahdanau (aditiva) aprende a pontuação de relevância com uma pequena rede feed-forward, enquanto a atenção de Luong (multiplicativa) usa um produto escalar entre consulta e chaves, que é computacionalmente mais barato.

Quanta quantidade de dados é necessária?

Planeje pelo menos algumas centenas de exemplos. Com cerca de 500 ou menos, o mecanismo tem dificuldade em aprender pesos significativos e sobreajusta, e abaixo de aproximadamente 100, o treinamento baseado em atenção não vale a pena — modelos mais simples como Random Forest ou XGBoost são melhores.

Posso ler os pesos de atenção como uma explicação?

Os pesos formam um alinhamento interpretável que mostra onde o modelo focou, o que é genuinamente útil. Trate-o como uma pista útil em vez de uma explicação completa ou definitiva do raciocínio do modelo.

Métodos relacionados

Fontes

  1. Bahdanau, D., Cho, K. & Bengio, Y. (2015). Neural Machine Translation by Jointly Learning to Align and Translate. ICLR.

    Abrir referência da publicação
    Copiado.
  2. Luong, M.T., Pham, H. & Manning, C.D. (2015). Effective Approaches to Attention-based Neural Machine Translation. EMNLP, 1412–1421.

    Abrir referência DOI
    Copiado.