Skip to content
Voltar aos resultados

LoRA e PEFT

Proposto por
Hu, E. J. et al.; Lester, B. et al.
Ano
2022
Tipo
Parameter-efficient fine-tuning of large pretrained models

Este texto é uma tradução automática e ainda não foi revisado. Ler o original em inglês

Tamanho da fonte

O que ele faz?

LoRA (Low-Rank Adaptation), introduzido por Hu et al. em 2022, e a família mais ampla de métodos de ajuste fino eficiente em parâmetros (PEFT) adaptam grandes modelos de linguagem pré-treinados para novas tarefas treinando apenas um pequeno número de parâmetros extras em vez de cada peso no modelo.

Isso torna o ajuste fino possível com muito menos memória de GPU e computação, deixando o modelo original amplamente intocado.

A intuição por trás do método

Ajustar completamente um grande modelo de linguagem significa atualizar bilhões de pesos, o que é caro em memória e computação e produz uma cópia completa do modelo para cada tarefa. A principal ideia por trás do LoRA é que a mudança que uma tarefa exige é geralmente de baixo posto (low-rank): ela pode ser capturada por um pequeno par de matrizes em vez de uma atualização densa para cada peso. Métodos PEFT exploram isso congelando o modelo original e treinando apenas um pequeno conjunto de novos parâmetros, de modo que um único modelo base possa ser especializado de forma barata para muitas tarefas.

História

LoRA foi introduzido por Hu et al. em 2022, propondo que a atualização de peso necessária para adaptar um grande modelo de linguagem pode ser representada como uma decomposição de baixo posto treinada no lugar do ajuste fino completo. Ele se baseou em ideias anteriores de ajuste fino eficiente em parâmetros, incluindo o prompt tuning de Lester et al. (2021), que mostrou que adaptar apenas um pequeno conjunto de parâmetros de prompt suave se torna cada vez mais competitivo à medida que a escala do modelo cresce. Juntos, esses métodos estabeleceram o ajuste fino eficiente em parâmetros como a maneira padrão de especializar modelos pré-treinados grandes de forma barata.

Quando usar

Use LoRA e PEFT quando quiser adaptar um grande modelo de linguagem pré-treinado a uma tarefa específica de classificação ou previsão de texto, mas não puder arcar com a memória e a computação do ajuste fino completo. Um grande modelo pré-treinado deve estar disponível, dados específicos da tarefa devem ser preparados e uma GPU é recomendada. Esses métodos funcionam melhor com um conjunto de dados de tarefa substancial; com conjuntos de dados muito pequenos (abaixo de algumas centenas de exemplos) a adaptação tende a sobreajustar (overfit) e um modelo mais simples, como random forest ou gradient boosting, é mais seguro.

Limitações e considerações

  • Requer um grande modelo pré-treinado para começar; não treina um modelo do zero.
  • Uma GPU é recomendada e dados específicos da tarefa devem ser preparados com antecedência.
  • Em conjuntos de dados de tarefa pequenos (abaixo de cerca de 500 exemplos) o ajuste fino pode não fornecer adaptação suficiente e corre risco de sobreajuste.
  • Com muito poucos dados de tarefa (abaixo de cerca de 50 exemplos) até mesmo o ajuste fino eficiente em parâmetros se torna sem sentido.

As condições da fonte não substituem a revisão científica independente nem a validação por um motor de análise.

Pontos fortes

  • Memória de GPU e computação drasticamente menores do que o ajuste fino completo, pois apenas um pequeno conjunto de parâmetros é treinado.
  • O modelo pré-treinado original é congelado e reutilizado entre as tarefas, de modo que um único modelo base possa ser especializado muitas vezes.
  • A atualização de baixo posto aprendida pode ser mesclada de volta aos pesos, sem adicionar sobrecarga no tempo de inferência.
  • Cobre uma família de opções — LoRA, prefix tuning, prompt tuning — para que a adaptação possa ser colocada onde funciona melhor.

Aplicações

  • Adaptar um grande modelo de linguagem pré-treinado a uma tarefa de classificação de texto específica de domínio.
  • Especializar um modelo base para muitas tarefas sem armazenar uma cópia completa por tarefa.
  • Ajuste fino sob memória de GPU limitada onde o ajuste fino completo é inviável.
  • Tarefas de previsão de texto que se baseiam em um modelo de linguagem pré-treinado existente.

Como funciona

Como funciona

1

Um grande modelo que já foi pré-treinado é tomado como ponto de partida fixo. Em vez de ajustar todos os seus pesos, os parâmetros originais são congelados e apenas um pequeno conjunto de parâmetros adicionais é introduzido e treinado para a tarefa alvo. LoRA, prefix tuning e prompt tuning são os métodos principais nesta família, cada um adicionando parâmetros em um local diferente.

2

No LoRA, a atualização de uma matriz de pesos congelada é restrita a ser de baixo posto: é escrita como o produto de duas pequenas matrizes, de modo que apenas essas pequenas matrizes são treinadas enquanto os pesos originais permanecem fixos. Como o posto é muito menor que as dimensões dos pesos, o número de parâmetros treináveis cai drasticamente, o que corta o custo de memória e computação do ajuste fino.

Fórmula
W = W_0 + \Delta W = W_0 + BA,\quad B \in \mathbb{R}^{d\times r},\ A \in \mathbb{R}^{r\times k},\ r \ll \min(d,k)
3

Apenas os pequenos parâmetros adicionados são otimizados nos dados específicos da tarefa, usando muito menos memória de GPU do que o ajuste fino completo. O modelo base é reutilizado sem alterações entre as tarefas, e a atualização de baixo posto aprendida pode ser mesclada de volta aos pesos para inferência. Uma GPU é recomendada, e um conjunto de dados de tarefa de tamanho razoável é necessário para que a adaptação seja significativa.

Erros comuns

  • Aplicar LoRA/PEFT a um conjunto de dados minúsculo e esperar adaptação confiável em vez de recorrer a um modelo clássico.
  • Tratar o ajuste fino eficiente em parâmetros como um substituto para ter um modelo base pré-treinado adequado.
  • Ignorar o risco de sobreajuste em dados de tarefa pequenos em vez de monitorar o desempenho de validação.
  • Assumir que o método remove a necessidade de uma GPU quando uma é recomendada.

Perguntas frequentes

Qual é a diferença entre LoRA e PEFT?

PEFT (ajuste fino eficiente em parâmetros) é a família ampla de métodos que adaptam um modelo grande treinando apenas um pequeno número de parâmetros extras. LoRA é um método PEFT específico que treina uma atualização de baixo posto para os pesos; prefix tuning e prompt tuning são outros membros da mesma família.

Quanto dado eu preciso?

Esses métodos precisam de um conjunto de dados de tarefa de tamanho razoável. Abaixo de cerca de 500 exemplos, a adaptação pode ser insuficiente e propensa a sobreajuste, e abaixo de cerca de 50 exemplos, o ajuste fino eficiente em parâmetros se torna sem sentido — um modelo clássico é a melhor escolha nesses casos.

Eu preciso de uma GPU?

Uma GPU é recomendada. Embora os métodos PEFT usem muito menos memória do que o ajuste fino completo, o treinamento dos parâmetros adicionados em um grande modelo pré-treinado ainda se beneficia substancialmente da aceleração por GPU.

Por que a atualização é de baixo posto?

A mudança necessária para adaptar um modelo pré-treinado a uma nova tarefa geralmente pode ser capturada por uma pequena correção de baixo posto em vez de uma atualização densa para cada peso. Representá-la como o produto de duas pequenas matrizes é o que faz o número de parâmetros treináveis — e o custo — cair drasticamente.

Métodos relacionados

Fontes

  1. Hu, E. J. et al. (2022). LoRA: Low-Rank Adaptation of Large Language Models. ICLR.

    Abrir referência da publicação
    Copiado.
  2. Lester, B. et al. (2021). The Power of Scale for Parameter-Efficient Prompt Tuning. EMNLP.

    Abrir referência DOI
    Copiado.