Wissensdestillation
- Eingeführt von
- Hinton, G., Vinyals, O. & Dean, J.
- Jahr
- 2015
- Typ
- Neural network compression (teacher–student)
Dieser Text ist eine maschinelle Übersetzung und wurde noch nicht geprüft. Original auf Englisch lesen
Was leistet sie?
Wissensdestillation ist eine Technik zur Modellkomprimierung, die 2015 von Geoffrey Hinton und Kollegen eingeführt wurde und ein kleines Studentenmodell mithilfe der Soft-Label-Ausgaben eines großen Lehrermodells trainiert.
Destillierte Modelle wie DistilBERT und TinyBERT erreichen etwa 97 % der Leistung des größeren Modells, während sie weitaus schneller laufen.
Die Intuition hinter der Methode
Ein großes, genaues Modell ist oft zu langsam oder zu schwer für den Einsatz. Anstatt ein kleines Modell nur anhand von Hard Labels zu trainieren, lässt man es von den reichhaltigen Wahrscheinlichkeitsausgaben des großen Modells lernen: Die vollständige Klassenverteilung des Lehrers enthält weitaus mehr Informationen als eine einzelne korrekte Antwort, sie zeigt, welche Klassen ähnlich aussehen und wie sicher sich der Lehrer ist. Der Student absorbiert dieses 'dunkle Wissen' und ist am Ende viel kleiner und dennoch fast ebenso leistungsfähig.
Geschichte
Wissensdestillation wurde von Geoffrey Hinton, Oriol Vinyals und Jeff Dean in einem NeurIPS Deep Learning Workshop Paper von 2015 eingeführt, das die Komprimierung eines großen Modells in ein kleines durch Abgleich der geglätteten Ausgaben des größeren Modells beschrieb. Sie wurde zu einem Standardwerkzeug für den Einsatz kompakter tiefer Modelle; DistilBERT von Sanh und Kollegen aus dem Jahr 2019 zeigte eine destillierte Version von BERT, die kleiner, schneller, billiger und leichter ist, während sie den Großteil der Genauigkeit des Originals beibehält.
Wann wird sie eingesetzt?
Verwenden Sie es, wenn Sie ein starkes, aber schweres trainiertes Lehrermodell haben und einen kleineren, schnelleren Studenten für den Einsatz bei Text- oder kontinuierlichen Merkmalsaufgaben benötigen, mit mindestens etwa 100 aufgabenspezifischen Beobachtungen. Es wird davon ausgegangen, dass das Lehrermodell bereits trainiert und verfügbar ist und ein aufgabenspezifisches Dataset bereitsteht. Bei weniger als etwa 500 Beobachtungen kann der Student nicht genug vom Lehrer destillieren und es besteht die Gefahr des Overfittings; unter etwa 100 ist die Destillation sinnlos und klassisches maschinelles Lernen die sicherere Wahl.
Grenzen und Hinweise
- Erfordert ein bereits trainiertes, verfügbares Lehrermodell – die Destillation kann ohne eines nicht beginnen.
- Benötigt ein aufgabenspezifisches Dataset; bei zu wenigen Daten lernt der Student wenig vom Lehrer.
- Bei kleinen Datasets (n unter etwa 500) überpasst sich der Student und absorbiert das Wissen des Lehrers nicht.
- Fügt eine Trainingspipeline und einen Abstimmungsaufwand (Temperatur, Mischgewicht) zusätzlich zum ursprünglichen Modell hinzu.
Die Bedingungen der Quelle ersetzen weder eine unabhängige wissenschaftliche Prüfung noch die Validierung durch eine Analyse-Engine.
Stärken
- Erzeugt ein viel kleineres, schnelleres Modell, das etwa 97 % der Leistung des Lehrers wiederherstellen kann.
- Die Soft Labels des Lehrers enthalten reichhaltigere Informationen als Hard Labels, was die Generalisierung des Studenten verbessert.
- Annahme-leicht: erfordert keine normalverteilten Daten.
- Verwendet einen bestehenden trainierten Lehrer wieder, daher eignet es sich für den Einsatz und die Bereitstellung, bei denen Geschwindigkeit und Größe wichtig sind.
Anwendungen
- Komprimierung großer Sprachmodelle in einsetzbare Studenten wie DistilBERT und TinyBERT.
- Beschleunigung der Inferenz für Textklassifizierung und Vorhersage, wenn der vollständige Lehrer zu langsam ist.
- Verkleinerung von Modellen für ressourcenbeschränkte oder latenzempfindliche Bereitstellungsumgebungen.
- Übertragung der Leistungsfähigkeit eines schweren Modells in ein leichtgewichtiges, ohne von Grund auf neu zu trainieren.
So funktioniert es
So funktioniert es
Ein großes, gut trainiertes Lehrermodell wird als gegeben betrachtet – es muss bereits trainiert und verfügbar sein. Dieser Lehrer verfügt über die gewünschte Vorhersagekraft, ist aber für den Einsatz in großem Maßstab zu teuer.
Der Lehrer erzeugt Soft-Label-Ausgaben: vollständige Wahrscheinlichkeitsverteilungen über die Klassen anstelle eines einzelnen Hard Labels. Diese geglätteten Vorhersagen offenbaren die Ähnlichkeiten, die der Lehrer zwischen den Klassen sieht, und liefern ein weitaus reichhaltigeres Trainingssignal als die Ground-Truth-Labels allein.
Das kleine Studentenmodell wird trainiert, um sowohl die wahren Labels als auch die Soft-Outputs des Lehrers gleichzeitig abzugleichen. Der Destillationsverlust kombiniert einen Standard-Kreuzentropie-Term für die Hard Labels mit einem Kullback-Leibler-Divergenz-Term, der die Logits des Studenten in Richtung der des Lehrers zieht, gewichtet durch einen Mischfaktor alpha. Das Ergebnis ist ein kompakter Student, der den Großteil der Genauigkeit des Lehrers beibehält.
Formel
\mathcal{L} = \alpha\, \mathrm{CE}(y, p_s) + (1-\alpha)\, \mathrm{KL}(p_t \,\|\, p_s)Häufige Fallstricke
- Versuch der Destillation ohne einen ordnungsgemäß trainierten Lehrer, von dem kopiert werden kann.
- Ausführung auf einem winzigen Aufgabendataset, bei dem klassisches maschinelles Lernen besser wäre.
- Ignorieren des Alpha-Mischgewichts zwischen den Hard-Label- und Soft-Label-Verlusttermen.
- Erwartung, dass der Student den Lehrer vollständig nachahmt, anstatt sich ihm anzunähern.
Häufig gestellte Fragen
Warum Soft Labels anstelle der richtigen Antwort verwenden?
Die vollständige Wahrscheinlichkeitsverteilung des Lehrers zeigt, wie ähnlich ihm die Klassen erscheinen und wie sicher er ist. Dieses zusätzliche Signal – manchmal als dunkles Wissen bezeichnet – hilft dem Studenten, besser zu generalisieren als reine Hard Labels.
Wie viel kleiner kann der Student sein?
Destillierte Modelle wie DistilBERT und TinyBERT sind erheblich kleiner und schneller als ihre Lehrer, während sie etwa 97 % der Leistung des Lehrers erreichen, obwohl der genaue Kompromiss von der Aufgabe und der Architektur abhängt.
Was brauche ich, bevor ich destilliere?
Sie benötigen ein bereits trainiertes und verfügbares Lehrermodell sowie ein aufgabenspezifisches Dataset. Bei weniger als etwa 500 Beobachtungen fällt es dem Studenten schwer, genug vom Lehrer zu destillieren, und er kann überanpassen.
Was ist das Alpha im Verlust?
Alpha mischt die beiden Teile des Destillationsverlusts: einen Kreuzentropie-Term für die wahren Labels und einen Kullback-Leibler-Divergenz-Term, der die Ausgaben des Studenten mit denen des Lehrers abgleicht. Das Tuning balanciert das Lernen von Ground Truth gegen das Lernen vom Lehrer.
Verwandte Methoden
Quellen
Hinton, G., Vinyals, O. & Dean, J. (2015). Distilling the Knowledge in a Neural Network. NeurIPS Deep Learning Workshop.
Publikationsreferenz öffnenKopiert.Sanh, V., Debut, L., Chaumond, J. & Wolf, T. (2019). DistilBERT, a distilled version of BERT: smaller, faster, cheaper and lighter. arXiv:1910.01108.
Publikationsreferenz öffnenKopiert.