Skip to content
Voltar aos resultados

Transformer (PNL)

Proposto por
Vaswani, A. et al.
Ano
2017
Tipo
Attention-based deep neural network

Este texto é uma tradução automática e ainda não foi revisado. Ler o original em inglês

Tamanho da fonte

O que ele faz?

O Transformer é um modelo de aprendizado profundo baseado em atenção, introduzido por Vaswani e colegas em 2017, que realiza classificação de texto, reconhecimento de entidade nomeada e modelagem de linguagem, permitindo que cada token em uma sequência atenda diretamente a todos os outros tokens.

Ele substituiu projetos recorrentes anteriores por um mecanismo de autoatenção que processa sequências inteiras em paralelo.

A intuição por trás do método

Modelos de sequência anteriores liam texto palavra por palavra, lutando para conectar palavras distantes em uma frase. O Transformer, em vez disso, permite que cada palavra olhe para todas as outras palavras de uma vez e decida quais são importantes para seu significado. Esse mecanismo de atenção é o que permite que o modelo capture o contexto de longo alcance na linguagem e aprenda representações ricas e reutilizáveis de texto.

História

O Transformer foi introduzido por Vaswani e colegas no artigo de 2017 Attention Is All You Need, que mostrou que uma arquitetura construída inteiramente em atenção — sem recorrência — poderia igualar ou superar modelos de sequência anteriores. Tornou-se a base para modelos de linguagem pré-treinados como BERT e GPT, que agora são o ponto de partida padrão para a maioria das tarefas de processamento de linguagem natural.

Quando usar

Adequado para classificação de texto, reconhecimento de entidade nomeada e modelagem de linguagem em grandes conjuntos de dados de texto — pelo menos cerca de 500 documentos — onde a compreensão contextual profunda da linguagem é importante. Não requer dados normalmente distribuídos, mas assume um grande corpus de texto, e o uso de um modelo pré-treinado (como BERT ou GPT) é recomendado. Abaixo de aproximadamente 500 exemplos, o mecanismo de atenção não consegue aprender padrões confiáveis, e abaixo de cerca de 100, um modelo profundo é inútil; aprendizado de máquina clássico, como Random Forest ou XGBoost, é a escolha mais segura.

Limitações e considerações

  • Necessita de grandes conjuntos de dados de texto (cerca de 500 exemplos ou mais) para aprender padrões confiáveis.
  • Abaixo de aproximadamente 100 exemplos, o treinamento de modelos profundos é sem sentido e o aprendizado de máquina clássico é suficiente.
  • O treinamento é computacionalmente caro e geralmente depende de modelos pré-treinados.
  • Suas representações internas são difíceis de interpretar em comparação com modelos de coeficientes explícitos.

As condições da fonte não substituem a revisão científica independente nem a validação por um motor de análise.

Pontos fortes

  • A autoatenção captura dependências de longo alcance em toda a sequência, ao contrário de modelos recorrentes palavra por palavra.
  • Processa sequências em paralelo, tornando o treinamento em grandes corpora de texto muito mais escalável.
  • Modelos pré-treinados (BERT, GPT) podem ser ajustados, transferindo conhecimento para tarefas com dados rotulados limitados.
  • Lida com diversas tarefas de linguagem — classificação, NER e modelagem de linguagem — dentro de uma única arquitetura.
  • Sem suposições de distribuição: não requer dados normalmente distribuídos.

Aplicações

  • Classificação de texto, como rotulagem de sentimento ou tópico.
  • Reconhecimento de entidade nomeada (NER) em documentos.
  • Modelagem de linguagem e predição do próximo token.
  • Ajuste de modelos de linguagem pré-treinados para tarefas de texto específicas de domínio.

Como funciona

Como funciona

1

O texto bruto é dividido em tokens e cada token é transformado em um vetor numérico (embedding). Como a atenção não tem uma noção intrínseca de ordem, informações de posição são adicionadas a esses vetores para que o modelo saiba onde cada token se encontra na sequência.

2

O mecanismo de autoatenção compara cada token com todos os outros tokens: consultas são combinadas com chaves para produzir pesos de atenção, que são então usados para combinar os vetores de valor. Empilhar muitas dessas camadas de atenção permite que o modelo construa uma representação contextual na qual cada token é informado por toda a sequência.

Fórmula
\text{Attention}(Q,K,V) = \text{softmax}\!\left(\frac{QK^{\top}}{\sqrt{d_k}}\right)V
3

As representações contextuais alimentam uma cabeça específica da tarefa — um rótulo para classificação de texto, tags por token para reconhecimento de entidade nomeada, ou probabilidades do próximo token para modelagem de linguagem. Na prática, um modelo pré-treinado em grandes corpora de texto (como BERT ou GPT) é ajustado para a tarefa em questão.

Erros comuns

  • Aplicar um Transformer a um pequeno conjunto de dados de texto onde a atenção não consegue aprender padrões estáveis.
  • Treinar do zero em vez de ajustar um modelo pré-treinado como BERT ou GPT.
  • Ignorar o limite de tamanho da amostra e confiar em um modelo profundo onde o aprendizado de máquina clássico seria melhor.
  • Tratar pesos de atenção como uma explicação definitiva do raciocínio do modelo.

Perguntas frequentes

Quanta dados de texto eu preciso?

Pelo menos cerca de 500 exemplos para o mecanismo de atenção aprender padrões confiáveis. Abaixo de cerca de 100, um modelo profundo não vale a pena treinar e o aprendizado de máquina clássico, como Random Forest ou XGBoost, é uma escolha melhor.

Devo treinar um Transformer do zero?

Geralmente não. Recomenda-se usar um modelo pré-treinado como BERT ou GPT e ajustá-lo à sua tarefa, pois ele transfere o conhecimento aprendido de grandes corpora e necessita de muito menos dados rotulados.

Quais tarefas ele lida?

Classificação de texto, reconhecimento de entidade nomeada e modelagem de linguagem, todos construídos na mesma arquitetura de autoatenção.

Por que o mecanismo de atenção é importante?

Ele permite que cada token em uma sequência atenda diretamente a todos os outros tokens, capturando o contexto de longo alcance que os modelos recorrentes anteriores, palavra por palavra, lidavam mal.

Métodos relacionados

Fontes

  1. Vaswani, A. et al. (2017). Attention Is All You Need. NeurIPS.

    Abrir referência da publicação
    Copiado.