Destylacja wiedzy
- Autor metody
- Hinton, G., Vinyals, O. & Dean, J.
- Rok
- 2015
- Typ
- Neural network compression (teacher–student)
Ten tekst jest tłumaczeniem maszynowym i nie został jeszcze sprawdzony. Przeczytaj oryginał po angielsku
Do czego służy?
Destylacja wiedzy to technika kompresji modelu, wprowadzona przez Geoffrey'a Hintona i współpracowników w 2015 roku, która polega na trenowaniu małego modelu ucznia przy użyciu miękkich etykiet wyjściowych dużego modelu nauczyciela.
Destylaty takie jak DistilBERT i TinyBERT osiągają około 97% wydajności większego modelu, działając znacznie szybciej.
Intuicja stojąca za metodą
Duży, dokładny model jest często zbyt wolny lub ciężki do wdrożenia. Zamiast trenować mały model od zera, używając jedynie twardych etykiet, pozwala się mu uczyć na podstawie bogatych wyników prawdopodobieństwa dużego modelu: pełny rozkład klas nauczyciela niesie znacznie więcej informacji niż pojedyncza poprawna odpowiedź, ujawniając, które klasy są podobne i jak pewny jest nauczyciel. Uczeń przyswaja tę „ciemną wiedzę” i okazuje się znacznie mniejszy, a jednocześnie prawie tak samo zdolny.
Historia
Destylacja wiedzy została wprowadzona przez Geoffrey'a Hintona, Oriola Vinyalsa i Jeffa Deana w artykule z warsztatów NeurIPS Deep Learning w 2015 roku, który opisał kompresję dużego modelu w mały poprzez dopasowanie zmiękczonych wyników większego modelu. Stała się standardowym narzędziem do wdrażania kompaktowych modeli głębokich; DistilBERT autorstwa Sanha i współpracowników z 2019 roku pokazał zdestylowaną wersję BERT, która jest mniejsza, szybsza, tańsza i lżejsza, zachowując większość dokładności oryginału.
Kiedy stosować
Używaj jej, gdy masz silny, ale zasobożerny wytrenowany model nauczyciela i chcesz uzyskać mniejszego, szybszego ucznia do wdrożenia w zadaniach tekstowych lub z ciągłymi cechami, dysponując co najmniej około 100 obserwacjami specyficznymi dla zadania. Zakłada się, że model nauczyciela jest już wytrenowany i dostępny, a zbiór danych specyficzny dla zadania jest gotowy. Przy liczbie obserwacji poniżej około 500 uczeń nie jest w stanie wystarczająco destylować wiedzy od nauczyciela, a ryzyko przeuczenia staje się wysokie; poniżej około 100 destylacja jest bezcelowa, a klasyczne uczenie maszynowe jest bezpieczniejszym wyborem.
Ograniczenia i uwagi
- Wymaga już wytrenowanego, dostępnego modelu nauczyciela – destylacja nie może się rozpocząć bez niego.
- Potrzebuje zbioru danych specyficznego dla zadania; przy zbyt małej ilości danych uczeń niewiele uczy się od nauczyciela.
- Na małych zbiorach danych (n poniżej około 500) uczeń przeucza się i nie jest w stanie przyswoić wiedzy nauczyciela.
- Dodaje potok treningowy i obciążenie związane z dostrajaniem (temperatura, waga mieszania) na szczycie oryginalnego modelu.
Warunki podane w źródle nie zastępują niezależnego przeglądu naukowego ani walidacji przez silnik analityczny.
Mocne strony
- Dostarcza znacznie mniejszy, szybszy model, który może odzyskać około 97% wydajności nauczyciela.
- Miękkie etykiety nauczyciela niosą bogatsze informacje niż etykiety twarde, poprawiając generalizację ucznia.
- Mało założeń: nie wymaga danych o rozkładzie normalnym.
- Wykorzystuje istniejącego, wytrenowanego nauczyciela, dzięki czemu nadaje się do wdrożenia i serwowania, gdzie liczy się szybkość i rozmiar.
Zastosowania
- Kompresja dużych modeli językowych w możliwe do wdrożenia uczniów, takich jak DistilBERT i TinyBERT.
- Przyspieszenie wnioskowania w klasyfikacji i predykcji tekstu, gdzie pełny nauczyciel jest zbyt wolny.
- Zmniejszanie modeli dla środowisk serwerowych z ograniczonymi zasobami lub wrażliwych na opóźnienia.
- Przenoszenie możliwości ciężkiego modelu do lekkiego, bez ponownego trenowania od zera.
Jak to działa
Jak to działa
Zakłada się istnienie dużego, dobrze wytrenowanego modelu nauczyciela – musi on być już wytrenowany i dostępny. Ten nauczyciel posiada moc predykcyjną, którą chcemy zachować, ale jego uruchomienie na dużą skalę jest zbyt kosztowne.
Nauczyciel generuje miękkie etykiety wyjściowe: pełne rozkłady prawdopodobieństwa klas, zamiast pojedynczej twardej etykiety. Te zmiękczone predykcje ujawniają podobieństwa między klasami postrzegane przez nauczyciela, dostarczając znacznie bogatszego sygnału treningowego niż same etykiety prawdziwe.
Mały model ucznia jest trenowany tak, aby jednocześnie dopasowywał się do prawdziwych etykiet i miękkich wyników nauczyciela. Funkcja straty destylacji łączy standardowy człon entropii krzyżowej na twardych etykietach z członem dywergencji Kullbacka–Leiblera, który przyciąga logity ucznia do logitów nauczyciela, ważone współczynnikiem mieszania alpha. Wynikiem jest zwarty uczeń, który zachowuje większość dokładności nauczyciela.
Wzór
\mathcal{L} = \alpha\, \mathrm{CE}(y, p_s) + (1-\alpha)\, \mathrm{KL}(p_t \,\|\, p_s)Częste pułapki
- Próba destylacji bez odpowiedniego nauczyciela, od którego można kopiować.
- Uruchamianie jej na maleńkim zbiorze danych zadania, gdzie klasyczne uczenie maszynowe sprawdziłoby się lepiej.
- Ignorowanie wagi mieszania alpha między członami straty dla twardych i miękkich etykiet.
- Oczekiwanie, że uczeń w pełni dorówna nauczycielowi, zamiast do niego zbliżyć się.
Najczęściej zadawane pytania
Dlaczego używać miękkich etykiet zamiast tylko poprawnej odpowiedzi?
Pełny rozkład prawdopodobieństwa nauczyciela ujawnia, jak podobne są do niego klasy i jak jest pewny. Ten dodatkowy sygnał – czasami nazywany ciemną wiedzą – pomaga uczniowi lepiej generalizować niż same twarde etykiety.
Jak bardzo mniejszy może być uczeń?
Modele destylowane, takie jak DistilBERT i TinyBERT, są znacznie mniejsze i szybsze niż ich nauczyciele, osiągając około 97% wydajności nauczyciela, chociaż dokładny kompromis zależy od zadania i architektury.
Czego potrzebuję przed destylacją?
Potrzebujesz modelu nauczyciela, który jest już wytrenowany i dostępny, plus zbiór danych specyficzny dla zadania. Przy mniej niż około 500 obserwacji uczeń ma trudności z wystarczającym destylowaniem wiedzy od nauczyciela i może się przeuczyć.
Czym jest alpha w funkcji straty?
Alpha miesza dwie części straty destylacji: człon entropii krzyżowej na prawdziwych etykietach i człon dywergencji Kullbacka–Leiblera, który dopasowuje wyniki ucznia do wyników nauczyciela. Dostrojenie go równoważy uczenie się z prawdy podstawowej w porównaniu do uczenia się od nauczyciela.
Pokrewne metody
Źródła
Hinton, G., Vinyals, O. & Dean, J. (2015). Distilling the Knowledge in a Neural Network. NeurIPS Deep Learning Workshop.
Otwórz odnośnik do publikacjiSkopiowano.Sanh, V., Debut, L., Chaumond, J. & Wolf, T. (2019). DistilBERT, a distilled version of BERT: smaller, faster, cheaper and lighter. arXiv:1910.01108.
Otwórz odnośnik do publikacjiSkopiowano.