Skip to content
Voltar aos resultados

Autoatenção Multi-Cabeça

Proposto por
Vaswani, A. et al.
Ano
2017
Tipo
Attention mechanism (Transformer core)

Este texto é uma tradução automática e ainda não foi revisado. Ler o original em inglês

Tamanho da fonte

O que ele faz?

A autoatenção multi-cabeça (multi-head self-attention), introduzida por Vaswani e colegas em 2017, é o mecanismo que permite que cada posição em uma sequência calcule sua relação com todas as outras posições em paralelo.

É o cerne da arquitetura Transformer e a base subjacente a BERT, GPT e T5.

A intuição por trás do método

Modelos de sequência anteriores processavam texto um passo de cada vez, o que tornava as relações de longo alcance difíceis de capturar e lentas de computar. A autoatenção, em vez disso, permite que cada token observe diretamente todos os outros tokens de uma vez e decida quanto peso dar a cada um, de modo que o significado que depende de contexto distante é capturado em uma única passagem paralela.

História

A autoatenção foi introduzida por Vaswani e colegas no artigo de 2017 'Attention Is All You Need', que propôs a arquitetura Transformer e dispensou a recorrência inteiramente. Rapidamente se tornou a base de grandes modelos de linguagem pré-treinados: Devlin e colegas construíram o BERT em Transformers bidirecionais em 2019, e o mesmo mecanismo subjaz a GPT e T5.

Quando usar

Use autoatenção ao modelar texto ou outros dados sequenciais onde as relações entre elementos distantes importam e você tem dados suficientes para treinar um modelo grande — pelo menos cerca de 100 observações, com 500 ou mais sendo fortemente preferíveis. Uma GPU é recomendada, a codificação posicional é necessária, e esteja ciente de que o custo computacional cresce quadraticamente com o comprimento da sequência. Em amostras muito pequenas, ela não consegue aprender representações confiáveis; modelos de aprendizado de máquina mais simples são mais seguros nesse caso.

Limitações e considerações

  • O custo computacional e de memória cresce quadraticamente com o comprimento da sequência, tornando sequências muito longas caras.
  • Uma GPU é efetivamente necessária para treinamento prático.
  • Necessita de codificação posicional porque a atenção sozinha é agnóstica à ordem.
  • Em conjuntos de dados pequenos (n abaixo de cerca de 500), ele superajusta e falha em aprender representações confiáveis.

As condições da fonte não substituem a revisão científica independente nem a validação por um motor de análise.

Pontos fortes

  • Captura dependências de longo alcance diretamente, sem o gargalo da recorrência passo a passo.
  • Computação totalmente paralela entre posições, que escala bem em hardware moderno.
  • Múltiplas cabeças podem atender a diferentes padrões de relacionamento simultaneamente.
  • Serve como a espinha dorsal compartilhada para BERT, GPT e T5, com amplo suporte a aprendizado por transferência.

Aplicações

  • Classificação de texto e outras tarefas supervisionadas de linguagem natural.
  • Previsão e aprendizado de representação sobre dados sequenciais.
  • Pré-treinamento e ajuste fino de grandes modelos de linguagem como BERT e GPT.
  • Qualquer cenário onde relações de longo alcance entre elementos da sequência devem ser modeladas.

Como funciona

Como funciona

1

Cada posição de entrada é mapeada em três vetores aprendidos — uma consulta (query), uma chave (key) e um valor (value) — por meio de matrizes de peso separadas. A consulta representa o que um token está procurando, a chave o que cada token oferece e o valor o conteúdo que é transmitido.

Fórmula
Q = XW_Q,\; K = XW_K,\; V = XW_V
2

Cada consulta é comparada com todas as chaves por meio de um produto escalar escalonado, escalonado pela raiz quadrada da dimensão da chave para manter os valores estáveis, e passada por uma softmax para produzir pesos de atenção. A saída de cada posição é a soma ponderada de todos os vetores de valor, de modo que ela combina informações de toda a sequência de uma vez.

Fórmula
\text{Attention}(Q,K,V) = \text{softmax}\!\left(\frac{QK^\top}{\sqrt{d_k}}\right)V
3

A atenção é executada várias vezes em paralelo como cabeças separadas, cada uma com suas próprias projeções, de modo que diferentes cabeças podem focar em diferentes tipos de relações. Suas saídas são concatenadas e projetadas de volta juntas, e como as posições são de outra forma intercambiáveis, a codificação posicional é adicionada para que a informação de ordem seja preservada.

Fórmula
\text{MultiHead}(X) = \text{Concat}(\text{head}_1,\dots,\text{head}_h)W_O

Erros comuns

  • Treinar com poucos dados — com menos de aproximadamente 500 exemplos, o mecanismo superajusta em vez de aprender representações úteis.
  • Esquecer a codificação posicional, o que deixa o modelo cego à ordem das palavras.
  • Subestimar o custo quadrático de sequências longas e ficar sem memória.
  • Recorrer a um Transformer em amostras minúsculas onde um modelo mais simples, como random forest ou XGBoost, se sairia melhor.

Perguntas frequentes

Por que a pontuação de atenção é escalonada pela raiz quadrada da dimensão da chave?

Sem escalonamento, os produtos escalares crescem muito à medida que a dimensão da chave aumenta, empurrando a softmax para regiões com gradientes que desaparecem. Dividir pela raiz quadrada da dimensão da chave mantém as pontuações em um intervalo estável.

O que as múltiplas cabeças adicionam?

Cada cabeça aprende suas próprias projeções de consulta, chave e valor, de modo que diferentes cabeças podem atender a diferentes tipos de relações de uma vez. Suas saídas são concatenadas e projetadas de volta juntas em uma única representação.

Por que a codificação posicional é necessária?

A autoatenção trata as posições como intercambiáveis, então, por si só, ela não tem noção de ordem. A codificação posicional injeta informações sobre a posição de cada token para que o modelo possa usar a ordem das palavras.

De quantos dados ela precisa?

É faminta por dados: com menos de cerca de 500 exemplos, ela superajusta e não consegue aprender representações confiáveis, e abaixo de aproximadamente 100, treinar um Transformer não é significativo. Para amostras pequenas, modelos mais simples como random forest ou XGBoost são preferíveis.

Métodos relacionados

Fontes

  1. Vaswani, A. et al. (2017). Attention Is All You Need. NeurIPS.

    Abrir referência da publicação
    Copiado.
  2. Devlin, J. et al. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. NAACL.

    Abrir referência da publicação
    Copiado.