Skip to content
Torna ai risultati

Transformer con addestramento fine-tuned

Introdotto da
Vaswani et al. (architecture); fine-tuning paradigm popularised by Howard & Ruder, Devlin et al.
Anno
2017–2019
Tipo
Transfer learning / supervised fine-tuning
Famiglia
Deep learning / NLP / CV

Questo testo è una traduzione automatica e non è ancora stato revisionato. Leggi l’originale in inglese

Dimensione del carattere

A cosa serve?

Il fine-tuning di un Transformer adatta un modello pre-addestrato di grandi dimensioni — come BERT, GPT o ViT — a un compito specifico downstream continuando l'addestramento basato sul gradiente su un set di dati target etichettato.

Questo paradigma a due stadi (pre-addestramento poi fine-tuning) ottiene costantemente risultati allo stato dell'arte in compiti di NLP e visione artificiale con molti meno dati specifici del compito rispetto all'addestramento da zero.

L’intuizione alla base del metodo

Un Transformer pre-addestrato ha già appreso rappresentazioni ricche di linguaggio o immagini da vasti corpora. Il fine-tuning è come assumere un esperto che conosce già profondamente il dominio e insegnargli il tuo lavoro specifico. Invece di riscrivere tutta la loro conoscenza da zero, aggiungi una piccola testa di output per il tuo compito e aggiorni l'intera rete con un basso tasso di apprendimento sui tuoi esempi etichettati. I pesi pre-addestrati forniscono un punto di partenza caldo e potente, quindi anche poche centinaia di esempi etichettati possono produrre prestazioni elevate — qualcosa di impossibile quando si addestra da zero.

Storia

L'architettura Transformer è stata introdotta da Vaswani et al. nel 2017, sostituendo le reti ricorrenti con meccanismi di auto-attenzione. Howard e Ruder (2018) hanno formalizzato il fine-tuning dei modelli linguistici con ULMFiT, e Devlin et al. (2019) lo hanno scalato a BERT, dimostrando che il fine-tuning di un singolo modello pre-addestrato ottiene i migliori risultati su undici benchmark NLP. Questo paradigma pre-addestramento-poi-fine-tuning è diventato rapidamente l'approccio dominante in NLP e poi si è diffuso alla visione artificiale attraverso i Vision Transformer.

Quando usarlo

Utilizza Transformer con fine-tuning quando hai un compito testuale, visivo o multimodale etichettato e desideri un'accuratezza allo stato dell'arte senza addestrare un modello di grandi dimensioni da zero. Eccelle quando i dati etichettati sono limitati (da decine a migliaia di esempi) poiché le rappresentazioni pre-addestrate portano la maggior parte della conoscenza richiesta. Particolarmente forte per compiti NLP come classificazione, NER e risposta a domande, e sempre più per compiti visivi tramite ViT. Non utilizzare quando l'ambiente di distribuzione non può supportare l'inferenza di modelli di grandi dimensioni (ad es. dispositivi edge con budget di latenza/memoria rigorosi senza quantizzazione), quando il dominio di pre-addestramento è drasticamente diverso dal dominio target e non esiste un checkpoint specifico del dominio, o quando la trasparenza completa del modello e l'interpretabilità dei coefficienti sono richieste da revisori o regolatori.

Limiti e considerazioni

  • I modelli Transformer pre-addestrati sono grandi (da 110M a miliardi di parametri), richiedendo notevole memoria GPU e calcolo per il fine-tuning.
  • Black-box per natura; il fine-tuning standard non produce coefficienti interpretabili, il che può entrare in conflitto con le norme di rendicontazione accademica.
  • Le prestazioni possono essere instabili tra semi casuali, specialmente su piccoli set di dati target, richiedendo più esecuzioni per ottenere stime affidabili.
  • Rischio di oblio catastrofico se il tasso di apprendimento o il numero di epoche è troppo elevato.
  • Richiede allineamento tra il dominio di pre-addestramento e il dominio target; le discrepanze degradano significativamente le prestazioni.

Le condizioni della fonte non sostituiscono una revisione scientifica indipendente né la validazione da parte di un motore di analisi.

Punti di forza

  • Ottiene prestazioni allo stato dell'arte su una vasta gamma di compiti con relativamente pochi esempi etichettati.
  • Sfrutta miliardi di parametri di rappresentazioni pre-apprese, riducendo drasticamente i dati di addestramento richiesti.
  • Architettura flessibile supporta classificazione, regressione, generazione, predizione strutturata e compiti visivi all'interno di un framework unificato.
  • Hub di modelli mantenuti dalla comunità (Hugging Face Hub) forniscono migliaia di checkpoint specifici del dominio pronti per il fine-tuning.
  • Le rappresentazioni contestuali catturano dipendenze a lungo raggio che i modelli bag-of-words e basati su RNN perdono.
  • Ricette e librerie di fine-tuning standardizzate (Transformers, PyTorch Lightning) abbassano la barriera all'implementazione riproducibile.

Applicazioni

  • Classificazione testuale (analisi del sentiment, categorizzazione degli argomenti, rilevamento di discorsi d'odio).
  • Riconoscimento di entità nominate, etichettatura di parti del discorso e altri compiti di etichettatura di sequenze.
  • Risposta a domande e comprensione della lettura su corpora specifici del dominio.
  • Classificazione di immagini e riconoscimento di oggetti tramite Vision Transformer con fine-tuning.
  • Analisi di documenti biomedici e legali utilizzando checkpoint pre-addestrati specifici del dominio.
  • Compiti linguistici a basse risorse dove i dati etichettati sono scarsi ma esiste un checkpoint multilingue (mBERT, XLM-R).

Come funziona

Come funziona

1

Scegli un checkpoint Transformer il cui dominio di pre-addestramento corrisponda al compito target. Per i compiti testuali, modelli come BERT, RoBERTa o GPT-2 pre-addestrati su grandi corpora sono standard. Per i compiti di immagine, le varianti di Vision Transformer (ViT) pre-addestrate su ImageNet o CLIP sono comuni. I modelli pre-addestrati specifici del dominio (ad es. BioBERT, LegalBERT) sono preferibili quando il vocabolario del dominio target diverge dai corpora di uso generale.

2

Aggiungi una testa leggera specifica del compito sopra l'ultimo strato del transformer: uno strato di classificazione lineare per la classificazione di sequenze, uno strato lineare a livello di token per l'etichettatura di sequenze (NER, POS), o una testa di estrazione di span per la risposta a domande. Solo questa testa è inizializzata casualmente; il corpo del transformer porta i pesi pre-addestrati.

3

Tokenizza il set di dati target etichettato utilizzando il tokenizzatore originale del modello per preservare l'allineamento del vocabolario. Applica troncamento e riempimento per adattarsi alla lunghezza massima della sequenza del modello. Dividi in set di addestramento e validazione; stratifica per classe se le etichette di classificazione sono sbilanciate. Calcola i pesi delle classi o applica l'oversampling se esiste uno squilibrio grave.

4

Addestra l'intero modello end-to-end sui dati target utilizzando un basso tasso di apprendimento (tipicamente da 1e-5 a 5e-5 per i modelli della famiglia BERT) e un breve programma (2–5 epoche per la maggior parte dei compiti NLP). Un riscaldamento lineare del tasso di apprendimento sull'ultimo 10% dei passi seguito da un decadimento lineare è una pratica standard. Monitora la perdita di validazione ad ogni epoca e applica l'arresto anticipato per prevenire l'oblio catastrofico della conoscenza pre-addestrata.

Formula
\mathcal{L} = -\sum_{i} y_i \log \hat{y}_i
5

Valuta su un set di test tenuto separato utilizzando metriche appropriate al compito: accuratezza e macro-F1 per la classificazione, F1 a livello di span per NER e QA, ROUGE o BERTScore per la summarizzazione. Riporta le prestazioni su più semi casuali poiché i risultati del fine-tuning possono essere sensibili all'inizializzazione, specialmente su set di dati piccoli.

Errori comuni

  • Utilizzo di un tasso di apprendimento troppo elevato (superiore a 1e-4) che causa l'oblio catastrofico dei pesi pre-addestrati.
  • Fine-tuning per troppe epoche senza arresto anticipato, portando a overfitting su piccoli set di dati target.
  • Riportare risultati da una singola esecuzione di fine-tuning senza mediare su più semi, mascherando un'elevata varianza.
  • Ignorare l'allineamento della tokenizzazione utilizzando un tokenizzatore diverso da quello utilizzato durante il pre-addestramento.
  • Selezione di un checkpoint di uso generale quando un modello specifico del dominio (ad es. BioBERT, SciBERT) è disponibile ed è chiaramente più appropriato.

Domande frequenti

Quanti esempi etichettati mi servono per fare il fine-tuning di un Transformer?

Dipende dalla complessità del compito, ma i Transformer sono particolarmente efficienti dal punto di vista dei dati. I compiti di classificazione spesso funzionano bene con poche centinaia o qualche migliaio di esempi etichettati. Per set di dati molto piccoli (sotto ~200 esempi), metodi few-shot o efficienti in termini di parametri come LoRA o prompt tuning potrebbero essere più stabili.

Dovrei congelare il corpo del Transformer e addestrare solo la testa?

Il fine-tuning completo end-to-end supera costantemente l'addestramento solo della testa nella maggior parte dei contesti. Congelare il corpo è utile principalmente quando si hanno pochissimi esempi o risorse computazionali molto limitate, ma sacrifica l'adattamento specifico del compito delle rappresentazioni.

Quale tasso di apprendimento dovrei usare?

I modelli della famiglia BERT sono sensibili al tasso di apprendimento. Valori tra 1e-5 e 5e-5 con un riscaldamento lineare su 6–10% dei passi totali sono punti di partenza standard. Tassi superiori a 1e-4 causano tipicamente oblio catastrofico.

Come scelgo tra diversi checkpoint pre-addestrati?

Preferisci checkpoint con dominio corrispondente (BioBERT per il biomedico, LegalBERT per il legale, SciBERT per il scientifico) quando disponibili. Per compiti generali, RoBERTa o DeBERTa superano tipicamente il BERT vanilla. Controlla la leaderboard dei modelli Hugging Face per benchmark specifici del compito.

Il Transformer con fine-tuning è sufficientemente interpretabile per la rendicontazione accademica?

Non nel senso tradizionale di riportare coefficienti. Tuttavia, la visualizzazione dell'attenzione, i gradienti integrati e le spiegazioni basate su SHAP possono far emergere quali token guidano le predizioni. Queste tecniche sono sempre più accettate nella ricerca NLP applicata ma potrebbero non soddisfare i revisori in contesti di scienze sociali strettamente confermativi.

Metodi correlati

Fonti

  1. Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, L., & Polosukhin, I. (2017). Attention is all you need. Advances in Neural Information Processing Systems, 30.

    Apri il riferimento della pubblicazione
    Copiato.
  2. Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (2019). BERT: Pre-training of deep bidirectional transformers for language understanding. Proceedings of NAACL-HLT 2019, 4171–4186.

    Apri il riferimento della pubblicazione
    Copiato.