Longformer / BigBird
- Proposto por
- Beltagy, Peters & Cohan (Longformer); Zaheer et al. (BigBird)
- Ano
- 2020
- Tipo
- Sparse-attention Transformer for long sequences
Este texto é uma tradução automática e ainda não foi revisado. Ler o original em inglês
O que ele faz?
Transformers para sequências longas, como Longformer (Beltagy, Peters & Cohan, 2020) e BigBird (Zaheer et al., 2020), substituem a atenção O(n²) padrão do Transformer por padrões de atenção esparsa que escalam linearmente, O(n), com o comprimento da sequência.
Isso permite que um único modelo atenda a milhares de tokens — documentos completos, textos jurídicos ou sequências genômicas — que não caberiam em um Transformer convencional.
A intuição por trás do método
Um Transformer padrão compara cada token com todos os outros tokens, de modo que dobrar o texto aproximadamente quadruplica o trabalho — é por isso que a maioria dos modelos tem um limite em torno de 512 tokens. Transformers para sequências longas observam que a maioria das relações úteis são locais, então cada token principalmente olha para seus vizinhos próximos através de uma janela deslizante, enquanto alguns tokens designados podem olhar para tudo. Isso mantém o custo crescendo em passo com o comprimento do texto em vez de explodir, tornando documentos muito longos tratáveis.
História
Ambos os métodos apareceram em 2020 como respostas ao gargalo de atenção quadrática que limitava os Transformers a entradas curtas. Longformer (Beltagy, Peters & Cohan) introduziu atenção deslizante mais global para documentos longos, enquanto BigBird (Zaheer et al., NeurIPS) adicionou atenção aleatória ao seu padrão esparso e forneceu resultados teóricos sobre sua expressividade. Juntos, eles estabeleceram a atenção esparsa como a rota padrão para processar sequências longas.
Quando usar
Use Transformers para sequências longas quando você tiver texto de documento longo (tipicamente além de 512 tokens) e precisar de classificação ou explicação sobre o documento completo — relatórios longos, textos jurídicos ou sequências genômicas. Eles assumem que entradas genuinamente longas estão disponíveis, uma GPU é fortemente recomendada, e as posições dos tokens globais devem ser escolhidas sensatamente. Eles precisam de uma quantidade razoável de dados: abaixo de cerca de 500 documentos o modelo tende a sobreajustar (overfit), e abaixo de cerca de 100 documentos o treinamento não é significativo e ML clássico como Random Forest ou XGBoost é preferível.
Limitações e considerações
- Uma GPU é efetivamente necessária; treinamento e inferência são computacionalmente pesados.
- Sobreajusta em conjuntos de documentos pequenos — abaixo de cerca de 500 documentos os resultados são não confiáveis.
- Abaixo de cerca de 100 documentos o treinamento não é significativo e ML clássico deve ser usado em vez disso.
- As posições dos tokens globais devem ser escolhidas corretamente, ou o fluxo de informação de longo alcance se degrada.
As condições da fonte não substituem a revisão científica independente nem a validação por um motor de análise.
Pontos fortes
- Processa milhares de tokens — documentos inteiros — que excedem a janela de um Transformer padrão.
- Escalamento de atenção linear O(n) em vez do custo quadrático O(n²) da atenção densa.
- Combina contexto de janela deslizante local com tokens globais para fluxo de informação de longo alcance.
- Bem adequado para classificação de documentos longos em direito, genômica e textos longos.
Aplicações
- Classificação de documentos longos como relatórios e artigos.
- Análise de textos jurídicos que excedem as janelas padrão do Transformer.
- Modelagem de sequências genômicas longas.
- Tarefas de explicação e classificação sobre texto completo em vez de trechos truncados.
Como funciona
Como funciona
O movimento central é abandonar a atenção densa de todos os pares do Transformer padrão — que custa O(n²) no comprimento da sequência n — e aproximá-la com um padrão esparso que custa apenas O(n). Como a atenção é o gargalo, essa única mudança é o que desbloqueia entradas de milhares de tokens.
Fórmula
O(n^2) \;\rightarrow\; O(n)
A maior parte da atenção é restrita a uma janela deslizante em torno de cada token, de modo que um token atende a uma banda fixa de tokens próximos em vez da sequência inteira. O contexto local — as palavras de ambos os lados — carrega a maior parte do sinal, e computar apenas essa banda é o que faz o custo crescer linearmente com o comprimento.
Um pequeno conjunto de tokens globais designados pode atender a, e ser atendido por, toda a sequência, dando ao modelo um caminho para que informações de longo alcance fluam através do documento. Escolher corretamente as posições desses tokens globais (por exemplo, um token de classificação ou tokens de consulta) é importante, pois eles são a ponte entre partes distantes do texto.
Acima do codificador de atenção esparsa, uma tarefa (task head) produz o resultado final — por exemplo, uma classificação em nível de documento ou uma previsão explicativa sobre a entrada longa. O resultado é um modelo que pode processar documentos completos que um Transformer de 512 tokens teria que truncar.
Erros comuns
- Aplicá-lo a textos curtos que cabem em um Transformer padrão de 512 tokens, pagando a complexidade sem benefício.
- Escolher posições de tokens globais descuidadamente, quebrando os caminhos de informação de longo alcance do modelo.
- Treinar em um conjunto de documentos pequeno (n abaixo de algumas centenas) e confiar no resultado de sobreajuste.
- Tentar treinar sem uma GPU e desistir de um modelo viável.
Perguntas frequentes
Como isso é diferente de um Transformer padrão como o BERT?
Um Transformer padrão usa atenção densa, comparando cada token com todos os outros tokens a um custo O(n²), o que na prática limita as entradas a cerca de 512 tokens. Longformer e BigBird usam atenção esparsa — principalmente janelas deslizantes locais mais alguns tokens globais — de modo que o custo cresce linearmente e entradas de vários milhares de tokens se tornam viáveis.
Quando devo preferir Longformer ou BigBird em vez de ML clássico?
Use-os quando seu texto for genuinamente longo (além de 512 tokens) e você tiver documentos suficientes. Com menos de cerca de 500 documentos o modelo tende a sobreajustar, e abaixo de aproximadamente 100 documentos o treinamento não é significativo — métodos clássicos como Random Forest ou XGBoost são a escolha mais segura nesses casos.
O que são tokens globais e por que eles importam?
Tokens globais são um pequeno conjunto de posições permitidas a atender a, e ser atendido por, toda a sequência. Eles são o canal através do qual a informação de longo alcance se move através do documento, então escolher suas posições corretamente é importante para o desempenho.
Preciso de hardware especial?
Uma GPU é fortemente recomendada. Esses modelos ainda processam sequências longas com redes consideráveis, então treinamento e inferência são computacionalmente exigentes mesmo com a atenção de escalonamento linear.
Métodos relacionados
Fontes
Beltagy, I., Peters, M. E. & Cohan, A. (2020). Longformer: The Long-Document Transformer. arXiv.
Abrir referência da publicaçãoCopiado.Zaheer, M. et al. (2020). Big Bird: Transformers for Longer Sequences. NeurIPS.
Abrir referência da publicaçãoCopiado.