Bilgi Damıtma
- Ortaya koyan
- Hinton, G., Vinyals, O. & Dean, J.
- Yıl
- 2015
- Tür
- Neural network compression (teacher–student)
Bu metin makine çevirisidir ve henüz incelenmedi. Asıl metni İngilizce oku
Ne işe yarar?
Bilgi Damıtma, Geoffrey Hinton ve meslektaşları tarafından 2015 yılında tanıtılan, büyük bir öğretmen modelin yumuşak etiket çıktılarını kullanarak küçük bir öğrenci modeli eğiten bir model sıkıştırma tekniğidir.
DistilBERT ve TinyBERT gibi damıtılmış modeller, daha büyük modelin performansının yaklaşık %97'sine ulaşırken çok daha hızlı çalışır.
Yöntemin mantığı
Büyük, doğru bir model genellikle dağıtım için çok yavaş veya ağırdır. Küçük bir modeli yalnızca kesin etiketlerle sıfırdan eğitmek yerine, büyük modelin zengin olasılık çıktılarından öğrenmesine izin verirsiniz: öğretmenin sınıflar üzerindeki tam dağılımı, tek bir doğru cevaptan çok daha fazla bilgi taşır, hangi sınıfların benzer göründüğünü ve öğretmenin ne kadar emin olduğunu ortaya çıkarır. Öğrenci bu 'karanlık bilgiyi' emer ve çok daha küçük ama neredeyse aynı derecede yetenekli hale gelir.
Tarih
Bilgi Damıtma, Geoffrey Hinton, Oriol Vinyals ve Jeff Dean tarafından 2015'te NeurIPS Deep Learning Workshop'ta yayınlanan ve büyük bir modeli, büyük modelin yumuşatılmış çıktılarını eşleştirerek küçük bir modele sıkıştırma çerçevesini oluşturan bir makalede tanıtıldı. Kompakt derin modelleri dağıtmak için standart bir araç haline geldi; Sanh ve meslektaşlarının 2019 DistilBERT'i, BERT'in damıtılmış bir versiyonunu gösterdi; bu versiyon daha küçük, daha hızlı, daha ucuz ve daha hafifti, ancak orijinalinin doğruluğunun çoğunu koruyordu.
Ne zaman kullanılır?
Güçlü ancak ağır, eğitilmiş bir öğretmen modeliniz olduğunda ve metin veya sürekli özellik görevlerinde dağıtım için daha küçük, daha hızlı bir öğrenci istediğinizde, en az yaklaşık 100 görev özel gözlemle kullanın. Öğretmen modelinin zaten eğitilmiş ve mevcut olduğunu ve görev özel bir veri kümesinin hazır olduğunu varsayar. Yaklaşık 500 gözlemin altında öğrenci öğretmenden yeterince damıtamaz ve aşırı uyum riski oluşur; yaklaşık 100'ün altında, damıtma anlamsızdır ve klasik makine öğrenmesi daha güvenli bir seçenektir.
Sınırlar ve dikkat edilmesi gerekenler
- Zaten eğitilmiş, mevcut bir öğretmen modeli gerektirir — onsuz damıtma başlayamaz.
- Görev özel bir veri kümesi gerektirir; çok az veriyle öğrenci öğretmenden az şey öğrenir.
- Küçük veri kümelerinde (yaklaşık 500'ün altındaki n) öğrenci aşırı uyum sağlar ve öğretmenin bilgisini absorbe edemez.
- Orijinal modele ek olarak bir eğitim hattı ve ayarlama yükü (sıcaklık, karıştırma ağırlığı) ekler.
Kaynak metnin koşulları, bağımsız bilimsel inceleme veya analiz motoru doğrulaması yerine geçmez.
Güçlü yönleri
- Öğretmenin performansının yaklaşık %97'sini kurtarabilen çok daha küçük, daha hızlı bir model sağlar.
- Öğretmenin yumuşak etiketleri, kesin etiketlerden daha zengin bilgi taşır, öğrencinin genellemesini iyileştirir.
- Varsayım-hafif: normal dağılımlı veri gerektirmez.
- Mevcut, eğitilmiş bir öğretmeni yeniden kullanır, bu nedenle hız ve boyutun önemli olduğu dağıtım ve sunum için uygundur.
Uygulama alanları
- Büyük dil modellerini DistilBERT ve TinyBERT gibi dağıtılabilir öğrencilere sıkıştırmak.
- Tam öğretmenin çok yavaş olduğu metin sınıflandırması ve tahmini için çıkarım hızlandırmak.
- Kaynak kısıtlı veya gecikmeye duyarlı sunum ortamları için modelleri küçültmek.
- Ağır bir modelin yeteneğini sıfırdan yeniden eğitmeye gerek kalmadan hafif bir modele aktarmak.
Nasıl çalışır?
Nasıl çalışır?
Büyük, iyi eğitilmiş bir öğretmen modeli olduğu varsayılır — zaten eğitilmiş ve mevcut olmalıdır. Bu öğretmen, korumak istediğiniz tahmin gücüne sahiptir ancak ölçekte çalıştırmak için çok pahalıdır.
Öğretmen, tek bir kesin etiketten ziyade sınıflar üzerindeki tam olasılık dağılımları olan yumuşak etiket çıktıları üretir. Bu yumuşatılmış tahminler, öğretmenin sınıflar arasında gördüğü benzerlikleri ortaya çıkarır ve yalnızca gerçek etiketlerden çok daha zengin bir eğitim sinyali sağlar.
Küçük öğrenci modeli, hem gerçek etiketleri hem de öğretmenin yumuşak çıktılarını aynı anda eşleştirmek için eğitilir. Damıtma kaybı, kesin etiketler üzerindeki standart bir çapraz entropi terimini, öğrencinin logitlerini öğretmenin logitlerine doğru çeken bir Kullback–Leibler ıraksaklık terimiyle birleştirir, bu da bir alfa karıştırma faktörü ile ağırlıklandırılır. Sonuç, öğretmenin doğruluğunun çoğunu koruyan kompakt bir öğrencidir.
Formül
\mathcal{L} = \alpha\, \mathrm{CE}(y, p_s) + (1-\alpha)\, \mathrm{KL}(p_t \,\|\, p_s)Sık yapılan hatalar
- Kopyalamak için düzgün eğitilmiş bir öğretmen olmadan damıtma girişiminde bulunmak.
- Klasik makine öğrenmesinin daha iyi yapacağı küçük bir görev veri kümesinde çalıştırmak.
- Kesin etiket ve yumuşak etiket kayıp terimleri arasındaki alfa karıştırma ağırlığını göz ardı etmek.
- Öğrencinin öğretmene tam olarak yaklaşması yerine tam olarak eşleşmesini beklemek.
Sık sorulan sorular
Neden sadece doğru cevap yerine yumuşak etiketler kullanılır?
Öğretmenin tam olasılık dağılımı, sınıfların ona ne kadar benzer göründüğünü ve ne kadar emin olduğunu ortaya çıkarır. Bu ekstra sinyal — bazen karanlık bilgi olarak adlandırılır — öğrencinin yalnızca kesin etiketlerden daha iyi genelleme yapmasına yardımcı olur.
Öğrenci ne kadar küçük olabilir?
DistilBERT ve TinyBERT gibi damıtılmış modeller, öğretmenlerinden önemli ölçüde daha küçük ve daha hızlıdır, ancak öğretmenin performansının yaklaşık %97'sine ulaşır, ancak kesin ödünleşme göreve ve mimariye bağlıdır.
Damıtmadan önce neye ihtiyacım var?
Zaten eğitilmiş ve mevcut bir öğretmen modeline ve görev özel bir veri kümesine ihtiyacınız var. Yaklaşık 500 gözlemden az olduğunda öğrenci öğretmenden yeterince damıtmakta zorlanır ve aşırı uyum sağlayabilir.
Kaybındaki alfa nedir?
Alfa, damıtma kaybının iki bölümünü karıştırır: gerçek etiketler üzerindeki bir çapraz entropi terimi ve öğrencinin çıktılarını öğretmenin çıktılarıyla hizalayan bir Kullback–Leibler ıraksaklık terimi. Ayarlamak, gerçek doğruluktan öğrenme ile öğretmenden öğrenme arasındaki dengeyi ayarlar.
İlgili yöntemler
Kaynaklar
Hinton, G., Vinyals, O. & Dean, J. (2015). Distilling the Knowledge in a Neural Network. NeurIPS Deep Learning Workshop.
Yayın kaynağını açKopyalandı.Sanh, V., Debut, L., Chaumond, J. & Wolf, T. (2019). DistilBERT, a distilled version of BERT: smaller, faster, cheaper and lighter. arXiv:1910.01108.
Yayın kaynağını açKopyalandı.