LoRA e PEFT
- Introdotto da
- Hu, E. J. et al.; Lester, B. et al.
- Anno
- 2022
- Tipo
- Parameter-efficient fine-tuning of large pretrained models
Questo testo è una traduzione automatica e non è ancora stato revisionato. Leggi l’originale in inglese
A cosa serve?
LoRA (Low-Rank Adaptation), introdotto da Hu et al. nel 2022, e la famiglia più ampia di metodi di fine-tuning efficiente in termini di parametri (PEFT) adattano grandi modelli linguistici preaddestrati a nuovi compiti addestrando solo un piccolo numero di parametri aggiuntivi invece di ogni peso nel modello.
Ciò rende il fine-tuning possibile con molta meno memoria GPU e calcolo, lasciando il modello originale in gran parte intatto.
L’intuizione alla base del metodo
Il fine-tuning completo di un grande modello linguistico significa aggiornare miliardi di pesi, il che è costoso in termini di memoria e calcolo e produce una copia completa del modello per ogni compito. L'intuizione chiave dietro LoRA è che la modifica richiesta da un compito è solitamente di basso rango: può essere catturata da una piccola coppia di matrici piuttosto che da un aggiornamento denso di ogni peso. I metodi PEFT sfruttano questo congelando il modello originale e addestrando solo un piccolo insieme di nuovi parametri, in modo che un singolo modello di base possa essere specializzato a basso costo per molti compiti.
Storia
LoRA è stato introdotto da Hu et al. nel 2022, proponendo che l'aggiornamento dei pesi necessario per adattare un grande modello linguistico possa essere rappresentato come una decomposizione di basso rango addestrata al posto del fine-tuning completo. Si basava su idee precedenti di efficienza dei parametri, incluso il prompt tuning di Lester et al. (2021), che dimostrava che l'adattamento di un piccolo insieme di parametri di prompt morbidi diventa sempre più competitivo all'aumentare della scala del modello. Insieme, questi metodi hanno stabilito il fine-tuning efficiente in termini di parametri come modo standard per specializzare a basso costo grandi modelli preaddestrati.
Quando usarlo
Utilizzare LoRA e PEFT quando si desidera adattare un grande modello linguistico preaddestrato a un compito specifico di classificazione o previsione del testo, ma non ci si può permettere la memoria e il calcolo del fine-tuning completo. Deve essere già disponibile un grande modello preaddestrato, i dati specifici del compito devono essere preparati e si raccomanda una GPU. Questi metodi funzionano meglio con un set di dati del compito sostanziale; con set di dati molto piccoli (sotto qualche centinaio di esempi) l'adattamento tende all'overfitting e un modello più semplice come random forest o gradient boosting è più sicuro.
Limiti e considerazioni
- Richiede un grande modello preaddestrato da cui partire; non addestra un modello da zero.
- Si raccomanda una GPU e i dati specifici del compito devono essere preparati in anticipo.
- Su set di dati del compito piccoli (sotto circa 500 esempi) il fine-tuning potrebbe non fornire un adattamento sufficiente e rischia l'overfitting.
- Con pochissimi dati del compito (sotto circa 50 esempi) anche il fine-tuning efficiente in termini di parametri diventa privo di significato.
Le condizioni della fonte non sostituiscono una revisione scientifica indipendente né la validazione da parte di un motore di analisi.
Punti di forza
- Memoria GPU e calcolo drasticamente inferiori rispetto al fine-tuning completo, poiché viene addestrato solo un piccolo insieme di parametri.
- Il modello preaddestrato originale viene congelato e riutilizzato tra i compiti, in modo che un singolo modello di base possa essere specializzato molte volte.
- L'aggiornamento di basso rango appreso può essere fuso nuovamente nei pesi, senza aggiungere overhead al momento dell'inferenza.
- Copre una famiglia di opzioni — LoRA, prefix tuning, prompt tuning — in modo che l'adattamento possa essere posizionato dove funziona meglio.
Applicazioni
- Adattare un grande modello linguistico preaddestrato a un compito di classificazione del testo specifico del dominio.
- Specializzare un modello di base per molti compiti senza memorizzare una copia completa per ciascuno.
- Fine-tuning in condizioni di memoria GPU limitata dove il fine-tuning completo è infattibile.
- Compiti di previsione del testo che si basano su un modello linguistico preaddestrato esistente.
Come funziona
Come funziona
Si prende un grande modello già preaddestrato come punto di partenza fisso. Invece di effettuare il fine-tuning di tutti i suoi pesi, i parametri originali vengono congelati e viene introdotto e addestrato solo un piccolo insieme di parametri aggiuntivi per il compito target. LoRA, prefix tuning e prompt tuning sono i metodi principali di questa famiglia, ognuno dei quali aggiunge parametri in un punto diverso.
In LoRA, l'aggiornamento di una matrice di pesi congelata è vincolato ad essere di basso rango: è scritto come il prodotto di due piccole matrici, quindi solo queste piccole matrici vengono addestrate mentre i pesi originali rimangono fissi. Poiché il rango è molto inferiore alle dimensioni dei pesi, il numero di parametri addestrabili diminuisce drasticamente, il che riduce il costo di memoria e calcolo del fine-tuning.
Formula
W = W_0 + \Delta W = W_0 + BA,\quad B \in \mathbb{R}^{d\times r},\ A \in \mathbb{R}^{r\times k},\ r \ll \min(d,k)Solo i piccoli parametri aggiunti vengono ottimizzati sui dati specifici del compito, utilizzando molta meno memoria GPU rispetto al fine-tuning completo. Il modello di base viene riutilizzato invariato tra i compiti e l'aggiornamento di basso rango appreso può essere fuso nuovamente nei pesi per l'inferenza. Si raccomanda una GPU e è necessario un set di dati del compito di dimensioni ragionevoli affinché l'adattamento sia significativo.
Errori comuni
- Applicare LoRA/PEFT a un set di dati minuscolo e aspettarsi un adattamento affidabile invece di ricorrere a un modello classico.
- Trattare il fine-tuning efficiente in termini di parametri come sostituto di un modello di base preaddestrato adeguato.
- Ignorare il rischio di overfitting su dati del compito piccoli invece di monitorare le prestazioni di validazione.
- Presumere che il metodo elimini la necessità di una GPU quando una è raccomandata.
Domande frequenti
Qual è la differenza tra LoRA e PEFT?
PEFT (parameter-efficient fine-tuning) è la famiglia generale di metodi che adattano un grande modello addestrando solo un piccolo numero di parametri aggiuntivi. LoRA è un metodo PEFT specifico che addestra un aggiornamento di basso rango ai pesi; prefix tuning e prompt tuning sono altri membri della stessa famiglia.
Di quanti dati ho bisogno?
Questi metodi richiedono un set di dati del compito di dimensioni ragionevoli. Sotto circa 500 esempi l'adattamento potrebbe essere insufficiente e incline all'overfitting, e sotto circa 50 esempi il fine-tuning efficiente in termini di parametri diventa privo di significato — un modello classico è la scelta migliore in quel caso.
Ho bisogno di una GPU?
Si raccomanda una GPU. Sebbene i metodi PEFT utilizzino molta meno memoria rispetto al fine-tuning completo, l'addestramento dei parametri aggiunti su un grande modello preaddestrato beneficia ancora sostanzialmente dell'accelerazione GPU.
Perché l'aggiornamento è di basso rango?
La modifica richiesta per adattare un modello preaddestrato a un nuovo compito può solitamente essere catturata da una piccola correzione di basso rango piuttosto che da un aggiornamento denso di ogni peso. Rappresentarla come il prodotto di due piccole matrici è ciò che fa diminuire drasticamente il numero di parametri addestrabili — e il costo.
Metodi correlati
Fonti
Hu, E. J. et al. (2022). LoRA: Low-Rank Adaptation of Large Language Models. ICLR.
Apri il riferimento della pubblicazioneCopiato.Lester, B. et al. (2021). The Power of Scale for Parameter-Efficient Prompt Tuning. EMNLP.
Apri il riferimento DOICopiato.