Fine-Tuning di BERT
- Introdotto da
- Devlin, J. et al.
- Anno
- 2019
- Tipo
- Transfer learning (fine-tuning a pre-trained transformer)
Questo testo è una traduzione automatica e non è ancora stato revisionato. Leggi l’originale in inglese
A cosa serve?
Il fine-tuning di BERT, basato sul modello BERT introdotto da Devlin e colleghi nel 2019, riaddestra un modello BERT pre-addestrato su un piccolo dataset etichettato per un compito specifico come la classificazione, il riconoscimento di entità nominate o la risposta a domande.
Attraverso il transfer learning, raggiunge prestazioni elevate anche con dati relativamente scarsi specifici per il compito.
L’intuizione alla base del metodo
Addestrare un modello linguistico da zero richiede enormi quantità di testo e risorse computazionali. BERT ha già appreso rappresentazioni linguistiche ricche e generali durante il pre-addestramento, quindi invece di ricominciare da capo, si prende quel modello e lo si adatta delicatamente al proprio compito. Con un piccolo dataset etichettato, il modello adatta la sua conoscenza esistente al problema, motivo per cui il fine-tuning funziona dove l'addestramento di un modello da zero fallirebbe.
Storia
BERT è stato introdotto da Devlin e colleghi nel 2019, dimostrando che i transformer bidirezionali profondi pre-addestrati su grandi corpora potevano essere sottoposti a fine-tuning per raggiungere risultati all'avanguardia in molti compiti di comprensione del linguaggio. Guida pratica come il lavoro di Sun e colleghi del 2019 su come effettuare il fine-tuning di BERT per la classificazione del testo ha contribuito a stabilire il fine-tuning come una ricetta standard per adattare grandi modelli linguistici pre-addestrati a compiti specifici.
Quando usarlo
Utilizzare il fine-tuning di BERT per compiti testuali — classificazione, previsione o estrazione di relazioni come NER e risposta a domande — su variabili testuali, con almeno circa 50 esempi etichettati e idealmente diverse centinaia o più. Presuppone la disponibilità di un modello BERT pre-addestrato e di dati etichettati per il compito; si raccomanda una GPU. Al di sotto di circa 500 esempi etichettati il modello tende all'overfitting, e al di sotto di circa 50 il fine-tuning non è praticabile — il machine learning classico basato su TF-IDF è la scelta più sicura in quel caso.
Limiti e considerazioni
- Su piccoli dataset etichettati (sotto circa 500 esempi) il fine-tuning va in overfitting e gli output diventano inaffidabili.
- Con pochissimi dati etichettati (sotto circa 50) il fine-tuning non è affatto fattibile.
- Si raccomanda una GPU, quindi i requisiti computazionali sono più elevati rispetto ai modelli testuali classici.
- Dipende dalla disponibilità di un modello BERT pre-addestrato adatto per la lingua e il dominio.
Le condizioni della fonte non sostituiscono una revisione scientifica indipendente né la validazione da parte di un motore di analisi.
Punti di forza
- Il transfer learning offre prestazioni elevate anche con dati etichettati relativamente scarsi.
- Cattura il contesto bidirezionale, gestendo il significato delle parole che dipende dal testo circostante.
- Un singolo backbone pre-addestrato serve per molti compiti: classificazione, NER, risposta a domande.
- Evita l'enorme costo di dati e computazione dell'addestramento di un modello linguistico da zero.
Applicazioni
- Classificazione del testo come analisi del sentiment ed etichettatura degli argomenti.
- Riconoscimento di entità nominate (NER) su testo.
- Risposta a domande ed estrazione di span.
- Adattare un modello linguistico generale pre-addestrato a uno specifico dominio con dati etichettati limitati.
Come funziona
Come funziona
Si parte da un modello BERT pre-addestrato che ha già appreso rappresentazioni bidirezionali del linguaggio da ampi corpora testuali. Questo modello pre-addestrato porta con sé una conoscenza linguistica generale che si trasferisce al compito di destinazione, quindi non si apprende la struttura del linguaggio da zero.
Uno strato di output specifico per il compito viene collegato sopra BERT per il compito di destinazione — ad esempio, una testa di classificazione per l'etichettatura del sentiment, una testa a livello di token per il riconoscimento di entità nominate, o una testa di span per la risposta a domande. Questa testa trasforma le rappresentazioni contestuali di BERT in previsioni per il proprio compito.
Il modello combinato viene riaddestrato sul piccolo dataset etichettato del compito, aggiornando i pesi in modo che si specializzino per il compito. Tipicamente il modello viene addestrato per pochi epoch; si raccomanda una GPU poiché la rete sottostante è grande. Il risultato è un modello che mappa input testuali a previsioni del compito.
Formula
\hat{y} = \text{softmax}(W \cdot h_{\text{[CLS]}} + b)Errori comuni
- Fine-tuning su pochissimi esempi etichettati e fidarsi delle metriche risultanti.
- Saltare un set di valutazione tenuto da parte (held-out), in modo che l'overfitting su un piccolo dataset passi inosservato.
- Ricorrere a BERT quando un modello classico basato su TF-IDF sarebbe più affidabile su dati minuscoli.
- Addestrare per troppi epoch su un piccolo dataset, il che amplifica l'overfitting.
Domande frequenti
Di quanti dati etichettati ho bisogno?
Il fine-tuning è praticabile da circa 50 esempi etichettati, ma le prestazioni sono più affidabili con diverse centinaia o più. Al di sotto di circa 500 esempi il modello tende all'overfitting, e al di sotto di circa 50 il fine-tuning non è fattibile — un modello classico basato su TF-IDF è più sicuro in quel caso.
Ho bisogno di una GPU?
Si raccomanda una GPU poiché la rete BERT è grande e l'addestramento su CPU è lento. Il fine-tuning tipicamente viene eseguito solo per pochi epoch, il che mantiene la computazione gestibile su una GPU.
Perché fare fine-tuning invece di addestrare da zero?
BERT ha già appreso rappresentazioni linguistiche bidirezionali generali durante il pre-addestramento. Il fine-tuning riutilizza tale conoscenza attraverso il transfer learning, quindi si raggiungono prestazioni elevate con molti meno dati etichettati e risorse computazionali rispetto all'addestramento di un modello da zero.
Quali compiti può gestire il fine-tuning di BERT?
Attaccando una testa di output specifica per il compito, è possibile utilizzare lo stesso backbone pre-addestrato per la classificazione, il riconoscimento di entità nominate e la risposta a domande, tra gli altri compiti testuali.
Metodi correlati
Fonti
Devlin, J., Chang, M.-W., Lee, K. & Toutanova, K. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. NAACL.
Apri il riferimento DOICopiato.Sun, C., Qiu, X., Xu, Y. & Huang, X. (2019). How to Fine-Tune BERT for Text Classification. CCL.
Apri il riferimento DOICopiato.