Ajuste Fino de GPT (GPT Fine-tuning)
- Proposto por
- Radford, A. et al. (OpenAI)
- Ano
- 2019
- Tipo
- Fine-tuning of pretrained autoregressive language models
Este texto é uma tradução automática e ainda não foi revisado. Ler o original em inglês
O que ele faz?
O ajuste fino de GPT adapta modelos de linguagem autorregressivos pré-treinados como GPT-2/3/4 ou LLaMA — introduzidos no trabalho de 2019 da OpenAI por Radford e colegas — a dados específicos de domínio ou a seguir instruções via aprendizado por reforço com feedback humano (RLHF) ou DPO.
É usado para seguir instruções, adaptação de domínio e tarefas generativas.
A intuição por trás do método
Um modelo de linguagem grande já aprendeu gramática, fatos e padrões de raciocínio a partir de um enorme corpus de texto, então raramente é necessário treinar do zero. O ajuste fino pega esse modelo pré-treinado e o direciona para sua própria tarefa — o vocabulário do seu domínio, seu estilo de resposta preferido, suas instruções — continuando o treinamento em um conjunto muito menor e específico da tarefa de exemplos de prompt-resposta.
História
O ajuste fino de GPT baseia-se nos modelos de linguagem autorregressivos descritos por Radford e colegas no relatório de 2019 da OpenAI, que mostraram que modelos de linguagem grandes se comportam como aprendizes multitarefa não supervisionados. Ouyang e colegas (2022) então introduziram o treinamento com feedback humano (RLHF), fazendo com que os modelos sigam instruções de forma muito mais confiável e moldando o paradigma de adaptação de instruções usado hoje.
Quando usar
Use o ajuste fino de GPT para classificação de texto, previsão ou geração quando você tiver um modelo pré-treinado da família GPT disponível, seus dados estiverem preparados no formato prompt-resposta e computação adequada (GPU/TPU) estiver à mão. Não assume dados normalmente distribuídos. Um conjunto de dados maior é fortemente preferido: abaixo de aproximadamente 500 exemplos, o modelo tende a sobreajustar e a qualidade generativa cai, e abaixo de cerca de 50 exemplos, o ajuste fino não produzirá resultados significativos — modelos mais simples como random forest ou XGBoost são mais seguros nesses casos.
Limitações e considerações
- Necessita de um modelo GPT pré-treinado e, tipicamente, de computação GPU/TPU.
- Os dados devem ser cuidadosamente preparados no formato prompt-resposta.
- Em conjuntos de dados pequenos (abaixo de cerca de 500 exemplos), o modelo sobreajusta e a qualidade generativa degrada.
- Com muito poucos dados (abaixo de cerca de 50 exemplos), o ajuste fino falha em produzir resultados significativos.
As condições da fonte não substituem a revisão científica independente nem a validação por um motor de análise.
Pontos fortes
- Baseia-se em conhecimento amplo já capturado durante o pré-treinamento em larga escala, portanto, são necessários muito menos dados de tarefa do que treinar do zero.
- Lida com classificação de texto, previsão e tarefas generativas abertas dentro de um único arcabouço.
- Poucas suposições: não requer dados normalmente distribuídos.
- O alinhamento RLHF ou DPO permite que o modelo siga instruções e corresponda a preferências humanas.
Aplicações
- Adaptação de domínio de um modelo de linguagem geral para texto especializado.
- Seguir instruções e geração no estilo de assistente.
- Tarefas de classificação e previsão de texto em dados textuais.
- Tarefas generativas onde é necessária saída de texto fluente e alinhada à tarefa.
Como funciona
Como funciona
Você começa com um modelo pré-treinado da família GPT que já carrega conhecimento linguístico amplo. Um conjunto de dados de ajuste fino é preparado no formato prompt-resposta, e dependendo da tarefa e do hardware, uma GPU ou TPU pode ser necessária.
O modelo continua o treinamento nos dados da tarefa, minimizando a perda de modelagem de linguagem autorregressiva — o logaritmo negativo da probabilidade de cada próximo token, dados os tokens anteriores a ele. Isso desloca o comportamento do modelo em direção ao domínio alvo, preservando a competência geral que ele aprendeu durante o pré-treinamento.
Fórmula
\mathcal{L} = -\sum_{t} \log P(x_t \mid x_{<t})Para seguir instruções, o modelo é ainda mais alinhado a preferências humanas usando aprendizado por reforço com feedback humano (RLHF) ou otimização direta de preferência (DPO), de modo que suas saídas correspondam melhor às instruções e expectativas que as pessoas lhe dão.
Erros comuns
- Ajuste fino em poucos exemplos e confiar na saída que parece fluente, mas está sobreajustada.
- Pular a formatação limpa de prompt-resposta dos dados de treinamento.
- Assumir que o alinhamento RLHF/DPO é opcional quando seguir instruções é o objetivo.
- Optar por ajuste fino de GPT quando um random forest ou XGBoost seria mais confiável em um conjunto de dados pequeno.
Perguntas frequentes
Quantos dados preciso para fazer ajuste fino de um modelo GPT?
Mais é fortemente preferido. Abaixo de aproximadamente 500 exemplos, o modelo tende a sobreajustar e a qualidade generativa cai; abaixo de cerca de 50 exemplos, o ajuste fino não produzirá resultados significativos, e um modelo mais simples como random forest ou XGBoost é mais seguro.
Qual é a diferença entre ajuste fino e RLHF/DPO?
O ajuste fino continua o treinamento em dados de domínio ou tarefa para minimizar a perda de modelagem de linguagem. RLHF e DPO são etapas de alinhamento que ajustam ainda mais o modelo às preferências humanas para que ele siga instruções e produza o estilo de resposta esperado.
Preciso de uma GPU?
Frequentemente sim. O ajuste fino de grandes modelos autorregressivos consome muita computação e uma GPU ou TPU pode ser necessária dependendo do tamanho do modelo e da tarefa.
Como devo formatar meus dados?
Prepare-os no formato prompt-resposta — cada exemplo associa um prompt de entrada à saída desejada do modelo — antes do ajuste fino.
Métodos relacionados
Fontes
Radford, A., Wu, J., Child, R., Luan, D., Amodei, D. & Sutskever, I. (2019). Language Models are Unsupervised Multitask Learners. OpenAI Technical Report.
Abrir referência da publicaçãoCopiado.Ouyang, L. et al. (2022). Training Language Models to Follow Instructions with Human Feedback. NeurIPS.
Abrir referência DOICopiado.