Transformer Ajustado Finamente
- Proposto por
- Vaswani et al. (architecture); fine-tuning paradigm popularised by Howard & Ruder, Devlin et al.
- Ano
- 2017–2019
- Tipo
- Transfer learning / supervised fine-tuning
- Família
- Deep learning / NLP / CV
Este texto é uma tradução automática e ainda não foi revisado. Ler o original em inglês
O que ele faz?
Ajustar finamente um Transformer adapta um modelo pré-treinado de grande porte — como BERT, GPT ou ViT — a uma tarefa específica de downstream, continuando o treinamento baseado em gradiente em um conjunto de dados alvo rotulado.
Este paradigma de dois estágios (pré-treinar e depois ajustar finamente) consistentemente alcança resultados de ponta em tarefas de NLP e visão computacional com muito menos dados específicos da tarefa do que treinar do zero.
A intuição por trás do método
Um Transformer pré-treinado já aprendeu representações ricas de linguagem ou imagens a partir de vastos corpora. O ajuste fino é como contratar um especialista que já conhece profundamente o domínio e ensinar-lhe seu trabalho específico. Em vez de reescrever todo o seu conhecimento do zero, você adiciona uma pequena cabeça de saída para sua tarefa e atualiza toda a rede com uma taxa de aprendizado baixa em seus exemplos rotulados. Os pesos pré-treinados fornecem um ponto de partida quente e poderoso, de modo que mesmo algumas centenas de exemplos rotulados podem render um desempenho forte — algo impossível ao treinar do zero.
História
A arquitetura Transformer foi introduzida por Vaswani et al. em 2017, substituindo redes recorrentes por mecanismos de auto-atenção. Howard e Ruder (2018) formalizaram o ajuste fino de modelos de linguagem com ULMFiT, e Devlin et al. (2019) o escalaram para BERT, demonstrando que o ajuste fino de um único modelo pré-treinado alcança os melhores resultados em onze benchmarks de NLP. Este paradigma de pré-treinar-depois-ajustar-finamente rapidamente se tornou a abordagem dominante em NLP e depois se espalhou para a visão computacional através dos Vision Transformers.
Quando usar
Use Transformers ajustados finamente quando você tiver uma tarefa rotulada de texto, imagem ou multimodal e desejar precisão de ponta sem treinar um modelo grande do zero. Ele se destaca quando os dados rotulados são limitados (dezenas a milhares de exemplos) porque as representações pré-treinadas carregam a maior parte do conhecimento necessário. Particularmente forte para tarefas de NLP, como classificação, NER e resposta a perguntas, e cada vez mais para tarefas de visão por meio de ViT. Não use quando o ambiente de implantação não puder suportar inferência de modelo grande (por exemplo, dispositivos de borda com orçamentos estritos de latência/memória sem quantização), quando o domínio de pré-treinamento for drasticamente diferente do domínio alvo e nenhum checkpoint específico do domínio existir, ou quando transparência total do modelo e interpretabilidade dos coeficientes forem exigidas por revisores ou reguladores.
Limitações e considerações
- Modelos Transformer pré-treinados são grandes (110M–bilhões de parâmetros), exigindo memória de GPU e computação substanciais para ajuste fino.
- Natureza de caixa preta; o ajuste fino padrão não produz coeficientes interpretáveis, o que pode conflitar com as normas de relatórios acadêmicos.
- O desempenho pode ser instável entre sementes aleatórias, especialmente em conjuntos de dados alvo pequenos, exigindo múltiplas execuções para obter estimativas confiáveis.
- Risco de esquecimento catastrófico se a taxa de aprendizado ou o número de épocas for muito alto.
- Requer alinhamento entre o domínio de pré-treinamento e o domínio alvo; desalinhamentos degradam significativamente o desempenho.
As condições da fonte não substituem a revisão científica independente nem a validação por um motor de análise.
Pontos fortes
- Alcança desempenho de ponta em uma ampla gama de tarefas com relativamente poucos exemplos rotulados.
- Aproveita bilhões de parâmetros de representações pré-aprendidas, reduzindo drasticamente os dados de treinamento necessários.
- Arquitetura flexível suporta classificação, regressão, geração, previsão estruturada e tarefas de visão dentro de um framework unificado.
- Hubs de modelos mantidos pela comunidade (Hugging Face Hub) fornecem milhares de checkpoints específicos do domínio prontos para ajuste fino.
- Representações contextuais capturam dependências de longo alcance que modelos bag-of-words e baseados em RNN perdem.
- Receitas e bibliotecas padronizadas de ajuste fino (Transformers, PyTorch Lightning) diminuem a barreira para implementação reproduzível.
Aplicações
- Classificação de texto (análise de sentimento, categorização de tópicos, detecção de discurso de ódio).
- Reconhecimento de entidade nomeada, marcação de classe gramatical e outras tarefas de rotulagem de sequência.
- Resposta a perguntas e compreensão de leitura em corpora específicos do domínio.
- Classificação de imagem e reconhecimento de objetos via Vision Transformers ajustados finamente.
- Análise de documentos biomédicos e legais usando checkpoints pré-treinados específicos do domínio.
- Tarefas de linguagem de baixa recursos onde dados rotulados são escassos, mas um checkpoint multilíngue (mBERT, XLM-R) existe.
Como funciona
Como funciona
Escolha um checkpoint do Transformer cujo domínio de pré-treinamento corresponda à tarefa alvo. Para tarefas de texto, modelos como BERT, RoBERTa ou GPT-2 pré-treinados em grandes corpora são padrão. Para tarefas de imagem, variantes do Vision Transformer (ViT) pré-treinadas em ImageNet ou CLIP são comuns. Modelos pré-treinados específicos do domínio (por exemplo, BioBERT, LegalBERT) são preferíveis quando o vocabulário do domínio alvo diverge de corpora de propósito geral.
Anexe uma cabeça leve específica da tarefa no topo da camada final do transformer: uma camada linear de classificação para classificação de sequência, uma camada linear em nível de token para rotulagem de sequência (NER, POS) ou uma cabeça de extração de trecho para resposta a perguntas. Apenas esta cabeça é inicializada aleatoriamente; o corpo do transformer carrega pesos pré-treinados.
Tokenize o conjunto de dados alvo rotulado usando o tokenizador original do modelo para preservar o alinhamento do vocabulário. Aplique truncamento e preenchimento para ajustar o comprimento máximo da sequência do modelo. Divida em conjuntos de treinamento e validação; estruture por classe se os rótulos de classificação estiverem desbalanceados. Calcule pesos de classe ou aplique sobreamostragem se houver desequilíbrio severo.
Treine todo o modelo de ponta a ponta nos dados alvo usando uma taxa de aprendizado pequena (tipicamente 1e-5 a 5e-5 para modelos da família BERT) e um cronograma curto (2–5 épocas para a maioria das tarefas de NLP). Um aquecimento linear da taxa de aprendizado nos primeiros 10% dos passos, seguido por decaimento linear, é prática padrão. Monitore a perda de validação a cada época e aplique parada antecipada para evitar o esquecimento catastrófico do conhecimento pré-treinado.
Fórmula
\mathcal{L} = -\sum_{i} y_i \log \hat{y}_iAvalie em um conjunto de teste mantido separado usando métricas apropriadas para a tarefa: precisão e F1 macro para classificação, F1 em nível de trecho para NER e QA, ROUGE ou BERTScore para sumarização. Relate o desempenho em múltiplas sementes aleatórias, pois os resultados do ajuste fino podem ser sensíveis à inicialização, especialmente em conjuntos de dados pequenos.
Erros comuns
- Usar uma taxa de aprendizado muito alta (acima de 1e-4) causando esquecimento catastrófico dos pesos pré-treinados.
- Ajuste fino por muitas épocas sem parada antecipada, levando a overfitting em conjuntos de dados alvo pequenos.
- Relatar resultados de uma única execução de ajuste fino sem média sobre múltiplas sementes, mascarando alta variância.
- Ignorar o alinhamento de tokenização usando um tokenizador diferente do usado durante o pré-treinamento.
- Selecionar um checkpoint de propósito geral quando um modelo específico do domínio (por exemplo, BioBERT, SciBERT) está disponível e claramente mais apropriado.
Perguntas frequentes
Quantos exemplos rotulados preciso para ajustar finamente um Transformer?
Depende da complexidade da tarefa, mas os Transformers são particularmente eficientes em dados. Tarefas de classificação geralmente funcionam bem com algumas centenas a alguns milhares de exemplos rotulados. Para conjuntos de dados muito pequenos (abaixo de ~200 exemplos), métodos few-shot ou eficientes em parâmetros, como LoRA ou prompt tuning, podem ser mais estáveis.
Devo congelar o corpo do Transformer e treinar apenas a cabeça?
O ajuste fino completo de ponta a ponta supera consistentemente o treinamento apenas da cabeça na maioria dos cenários. Congelar o corpo é útil principalmente quando você tem poucos exemplos ou computação muito limitada, mas sacrifica a adaptação específica da tarefa das representações.
Qual taxa de aprendizado devo usar?
Modelos da família BERT são sensíveis à taxa de aprendizado. Valores entre 1e-5 e 5e-5 com aquecimento linear em 6–10% dos passos totais são pontos de partida padrão. Taxas acima de 1e-4 geralmente causam esquecimento catastrófico.
Como escolho entre diferentes checkpoints pré-treinados?
Prefira checkpoints com domínio correspondente (BioBERT para biomédico, LegalBERT para texto legal, SciBERT para científico) quando disponíveis. Para tarefas gerais, RoBERTa ou DeBERTa geralmente superam o BERT vanilla. Verifique o leaderboard de modelos do Hugging Face para benchmarks específicos da tarefa.
O Transformer ajustado finamente é interpretável o suficiente para relatórios acadêmicos?
Não no sentido tradicional de relatórios de coeficientes. No entanto, visualização de atenção, gradientes integrados e explicações baseadas em SHAP podem revelar quais tokens impulsionam as previsões. Essas técnicas são cada vez mais aceitas em pesquisa aplicada de NLP, mas podem não satisfazer revisores em contextos estritamente confirmatórios de ciências sociais.
Métodos relacionados
Fontes
Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, L., & Polosukhin, I. (2017). Attention is all you need. Advances in Neural Information Processing Systems, 30.
Abrir referência da publicaçãoCopiado.Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (2019). BERT: Pre-training of deep bidirectional transformers for language understanding. Proceedings of NAACL-HLT 2019, 4171–4186.
Abrir referência da publicaçãoCopiado.