Skip to content
Torna ai risultati

Fine-Tuning di GPT

Introdotto da
Radford, A. et al. (OpenAI)
Anno
2019
Tipo
Fine-tuning of pretrained autoregressive language models

Questo testo è una traduzione automatica e non è ancora stato revisionato. Leggi l’originale in inglese

Dimensione del carattere

A cosa serve?

Il fine-tuning di GPT adatta modelli linguistici autoregressivi pre-addestrati come GPT-2/3/4 o LLaMA — introdotti nel lavoro del 2019 di OpenAI da Radford e colleghi — a dati specifici di dominio o all'esecuzione di istruzioni tramite apprendimento per rinforzo da feedback umano (RLHF) o DPO.

Viene utilizzato per l'esecuzione di istruzioni, l'adattamento al dominio e compiti generativi.

L’intuizione alla base del metodo

Un modello linguistico di grandi dimensioni ha già appreso grammatica, fatti e schemi di ragionamento da un enorme corpus testuale, quindi raramente è necessario addestrare da zero. Il fine-tuning prende quel modello pre-addestrato e lo orienta verso il proprio compito — il vocabolario del proprio dominio, lo stile di risposta preferito, le istruzioni — continuando l'addestramento su un set molto più piccolo e specifico del compito di esempi prompt-completamento.

Storia

Il fine-tuning di GPT si basa sui modelli linguistici autoregressivi descritti da Radford e colleghi nel rapporto del 2019 di OpenAI, che hanno dimostrato che i modelli linguistici di grandi dimensioni si comportano come apprendisti non supervisionati multi-compito. Ouyang e colleghi (2022) hanno poi introdotto l'addestramento con feedback umano (RLHF), rendendo i modelli in grado di seguire istruzioni in modo molto più affidabile e plasmando il paradigma di adattamento alle istruzioni utilizzato oggi.

Quando usarlo

Utilizzare il fine-tuning di GPT per classificazione, predizione o generazione di testo quando si dispone di un modello della famiglia GPT pre-addestrato, i propri dati sono preparati in formato prompt-completamento e si dispone di un'adeguata potenza di calcolo (GPU/TPU). Non presuppone dati distribuiti normalmente. Un dataset più ampio è fortemente preferito: al di sotto di circa 500 esempi il modello tende all'overfitting e la qualità generativa diminuisce, e al di sotto di circa 50 esempi il fine-tuning non produrrà risultati significativi — modelli più semplici come random forest o XGBoost sono più sicuri in quel caso.

Limiti e considerazioni

  • Richiede un modello GPT pre-addestrato e tipicamente calcolo su GPU/TPU.
  • I dati devono essere preparati attentamente in formato prompt-completamento.
  • Su dataset piccoli (sotto circa 500 esempi) il modello va in overfitting e la qualità generativa degrada.
  • Con pochissimi dati (sotto circa 50 esempi) il fine-tuning non produce output significativi.

Le condizioni della fonte non sostituiscono una revisione scientifica indipendente né la validazione da parte di un motore di analisi.

Punti di forza

  • Si basa su una vasta conoscenza già catturata durante il pre-addestramento su larga scala, quindi sono necessari molti meno dati per il compito rispetto all'addestramento da zero.
  • Gestisce classificazione, predizione e compiti generativi aperti all'interno di un unico framework.
  • Presupposti minimi: non richiede dati distribuiti normalmente.
  • L'allineamento RLHF o DPO consente al modello di seguire le istruzioni e di corrispondere alle preferenze umane.

Applicazioni

  • Adattamento di dominio di un modello linguistico generale a testo specializzato.
  • Esecuzione di istruzioni e generazione in stile assistente.
  • Compiti di classificazione e predizione di testo su dati testuali.
  • Compiti generativi in cui è richiesto un output testuale fluente e allineato al compito.

Come funziona

Come funziona

1

Si parte da un modello della famiglia GPT pre-addestrato che possiede già una vasta conoscenza linguistica. Viene preparato un dataset di fine-tuning in formato prompt-completamento e, a seconda del compito e dell'hardware, potrebbe essere necessaria una GPU o una TPU.

2

Il modello continua l'addestramento sui dati del compito, minimizzando la perdita di modellazione linguistica autoregressiva — il logaritmo negativo della probabilità di ogni token successivo dati i token che lo precedono. Questo sposta il comportamento del modello verso il dominio target preservando la competenza generale appresa durante il pre-addestramento.

Formula
\mathcal{L} = -\sum_{t} \log P(x_t \mid x_{<t})
3

Per l'esecuzione di istruzioni, il modello viene ulteriormente allineato alle preferenze umane utilizzando l'apprendimento per rinforzo da feedback umano (RLHF) o l'ottimizzazione diretta delle preferenze (DPO), in modo che i suoi output corrispondano meglio alle istruzioni e alle aspettative che le persone gli forniscono.

Errori comuni

  • Fine-tuning su troppi pochi esempi e affidarsi all'output che appare fluente ma è in overfitting.
  • Saltare la formattazione pulita prompt-completamento dei dati di addestramento.
  • Presupporre che l'allineamento RLHF/DPO sia opzionale quando l'esecuzione di istruzioni è l'obiettivo.
  • Ricorrere al fine-tuning di GPT quando un modello random forest o XGBoost sarebbe più affidabile su un dataset piccolo.

Domande frequenti

Quanti dati sono necessari per fare il fine-tuning di un modello GPT?

Più è fortemente preferito. Al di sotto di circa 500 esempi il modello tende all'overfitting e la qualità generativa diminuisce; al di sotto di circa 50 esempi il fine-tuning non produrrà risultati significativi, ed è più sicuro un modello più semplice come random forest o XGBoost.

Qual è la differenza tra fine-tuning e RLHF/DPO?

Il fine-tuning continua l'addestramento sui dati di dominio o del compito per minimizzare la perdita di modellazione linguistica. RLHF e DPO sono passaggi di allineamento che affinano ulteriormente il modello alle preferenze umane in modo che segua le istruzioni e produca lo stile di risposta atteso.

Ho bisogno di una GPU?

Spesso sì. Il fine-tuning di grandi modelli autoregressivi richiede molta potenza di calcolo e potrebbe essere necessaria una GPU o una TPU a seconda della dimensione del modello e del compito.

Come dovrei formattare i miei dati?

Preparali in formato prompt-completamento — ogni esempio accoppia un prompt di input con l'output desiderato del modello — prima del fine-tuning.

Metodi correlati

Fonti

  1. Radford, A., Wu, J., Child, R., Luan, D., Amodei, D. & Sutskever, I. (2019). Language Models are Unsupervised Multitask Learners. OpenAI Technical Report.

    Apri il riferimento della pubblicazione
    Copiato.
  2. Ouyang, L. et al. (2022). Training Language Models to Follow Instructions with Human Feedback. NeurIPS.

    Apri il riferimento DOI
    Copiato.