Distillazione della Conoscenza
- Introdotto da
- Hinton, G., Vinyals, O. & Dean, J.
- Anno
- 2015
- Tipo
- Neural network compression (teacher–student)
Questo testo è una traduzione automatica e non è ancora stato revisionato. Leggi l’originale in inglese
A cosa serve?
La Distillazione della Conoscenza (Knowledge Distillation) è una tecnica di compressione del modello, introdotta da Geoffrey Hinton e colleghi nel 2015, che addestra un piccolo modello studente utilizzando gli output "soft-label" di un grande modello insegnante.
I modelli distillati come DistilBERT e TinyBERT raggiungono circa il 97% delle prestazioni del modello più grande, pur funzionando molto più velocemente.
L’intuizione alla base del metodo
Un modello grande e accurato è spesso troppo lento o "pesante" per essere implementato. Invece di addestrare un piccolo modello da zero solo su "hard labels", lo si lascia imparare dai ricchi output di probabilità del modello grande: la distribuzione completa del "teacher" sulle classi veicola molte più informazioni di una singola risposta corretta, rivelando quali classi sembrano simili e quanto è "sicuro" il "teacher". Lo studente assorbe questa "conoscenza oscura" e risulta molto più piccolo ma quasi altrettanto capace.
Storia
La Distillazione della Conoscenza è stata introdotta da Geoffrey Hinton, Oriol Vinyals e Jeff Dean in un articolo del 2015 del NeurIPS Deep Learning Workshop, che ha inquadrato la compressione di un modello grande in uno piccolo facendo corrispondere gli output "ammorbiditi" del modello più grande. È diventata uno strumento standard per l'implementazione di modelli "deep" compatti; DistilBERT di Sanh e colleghi del 2019 ha mostrato una versione distillata di BERT che è più piccola, più veloce, più economica e più leggera pur mantenendo la maggior parte dell'accuratezza dell'originale.
Quando usarlo
Utilizzarla quando si dispone di un modello "teacher" addestrato, robusto ma "pesante", e si desidera uno studente più piccolo e veloce per l'implementazione su attività di testo o con caratteristiche continue, con almeno circa 100 osservazioni specifiche per l'attività. Presuppone che il modello "teacher" sia già addestrato e disponibile e che un set di dati specifico per l'attività sia pronto. Al di sotto di circa 500 osservazioni, lo studente non può distillare a sufficienza dal "teacher" e il "overfitting" diventa un rischio; al di sotto di circa 100, la distillazione è inutile e il "machine learning" classico è la scelta più sicura.
Limiti e considerazioni
- Richiede un modello "teacher" già addestrato e disponibile: la distillazione non può iniziare senza di esso.
- Necessita di un set di dati specifico per l'attività; con troppo pochi dati lo studente impara poco dal "teacher".
- Su piccoli set di dati (n inferiore a circa 500) lo studente "overfitta" e non riesce ad assorbire la conoscenza del "teacher".
- Aggiunge una "pipeline" di addestramento e un onere di "tuning" (temperatura, peso di miscelazione) in aggiunta al modello originale.
Le condizioni della fonte non sostituiscono una revisione scientifica indipendente né la validazione da parte di un motore di analisi.
Punti di forza
- Produce un modello molto più piccolo e veloce che può recuperare circa il 97% delle prestazioni del "teacher".
- Le "soft labels" del "teacher" veicolano informazioni più ricche delle "hard labels", migliorando la generalizzazione dello studente.
- Poche assunzioni: non richiede dati distribuiti normalmente.
- Riutilizza un "teacher" addestrato esistente, quindi è adatto per l'implementazione e il "serving" dove velocità e dimensioni contano.
Applicazioni
- Comprimere grandi modelli linguistici in studenti implementabili come DistilBERT e TinyBERT.
- Accelerare l'inferenza per la classificazione e la previsione del testo dove il "teacher" completo è troppo lento.
- Ridurre i modelli per ambienti di "serving" con risorse limitate o sensibili alla latenza.
- Trasferire la capacità di un modello "pesante" in uno leggero senza riaddestrare da zero.
Come funziona
Come funziona
Un modello "teacher" grande e ben addestrato è dato per scontato: deve essere già addestrato e disponibile. Questo "teacher" ha il potere predittivo che si desidera preservare ma è troppo costoso da eseguire su larga scala.
Il "teacher" produce output "soft-label": distribuzioni di probabilità complete sulle classi piuttosto che una singola "hard label". Queste previsioni "ammorbidite" espongono le somiglianze che il "teacher" vede tra le classi, fornendo un segnale di addestramento molto più ricco rispetto alle sole etichette "ground-truth".
Il piccolo modello studente viene addestrato per corrispondere sia alle etichette vere sia agli output "soft" del "teacher" contemporaneamente. La "distillation loss" combina un termine di "cross-entropy" standard sulle "hard labels" con un termine di divergenza di Kullback-Leibler che "tira" i "logits" dello studente verso quelli del "teacher", ponderato da un fattore di miscelazione alpha. Il risultato è uno studente compatto che mantiene la maggior parte dell'accuratezza del "teacher".
Formula
\mathcal{L} = \alpha\, \mathrm{CE}(y, p_s) + (1-\alpha)\, \mathrm{KL}(p_t \,\|\, p_s)Errori comuni
- Tentare la distillazione senza un "teacher" adeguatamente addestrato da cui copiare.
- Eseguirla su un set di dati di attività minuscolo dove il "machine learning" classico farebbe meglio.
- Ignorare il peso di miscelazione alpha tra i termini di perdita "hard-label" e "soft-label".
- Aspettarsi che lo studente corrisponda completamente al "teacher" piuttosto che avvicinarsi ad esso.
Domande frequenti
Perché usare le "soft labels" invece della sola risposta corretta?
La distribuzione di probabilità completa del "teacher" rivela quanto le classi gli sembrano simili e quanto è "sicuro". Questo segnale extra — a volte chiamato "conoscenza oscura" — aiuta lo studente a generalizzare meglio rispetto alle sole "hard labels".
Quanto più piccolo può essere lo studente?
I modelli distillati come DistilBERT e TinyBERT sono sostanzialmente più piccoli e veloci dei loro "teacher" pur raggiungendo circa il 97% delle prestazioni del "teacher", sebbene il "trade-off" esatto dipenda dall'attività e dall'architettura.
Di cosa ho bisogno prima di distillare?
È necessario un modello "teacher" già addestrato e disponibile, oltre a un set di dati specifico per l'attività. Con meno di circa 500 osservazioni lo studente fatica a distillare a sufficienza dal "teacher" e potrebbe "overfittare".
Cos'è l'alpha nella "loss"?
Alpha mescola le due parti della "distillation loss": un termine di "cross-entropy" sulle etichette vere e un termine di divergenza di Kullback-Leibler che allinea gli output dello studente con quelli del "teacher". La sua regolazione bilancia l'apprendimento dalla "ground truth" rispetto all'apprendimento dal "teacher".
Metodi correlati
Fonti
Hinton, G., Vinyals, O. & Dean, J. (2015). Distilling the Knowledge in a Neural Network. NeurIPS Deep Learning Workshop.
Apri il riferimento della pubblicazioneCopiato.Sanh, V., Debut, L., Chaumond, J. & Wolf, T. (2019). DistilBERT, a distilled version of BERT: smaller, faster, cheaper and lighter. arXiv:1910.01108.
Apri il riferimento della pubblicazioneCopiato.