İnce Ayarlanmış Transformer
- Ortaya koyan
- Vaswani et al. (architecture); fine-tuning paradigm popularised by Howard & Ruder, Devlin et al.
- Yıl
- 2017–2019
- Tür
- Transfer learning / supervised fine-tuning
- Aile
- Deep learning / NLP / CV
Bu metin makine çevirisidir ve henüz incelenmedi. Asıl metni İngilizce oku
Ne işe yarar?
Bir Transformer'ın ince ayarlanması, büyük bir önceden eğitilmiş modeli — BERT, GPT veya ViT gibi — etiketlenmiş hedef bir veri kümesi üzerinde gradyan tabanlı eğitimi devam ettirerek belirli bir aşağı akış görevi için uyarlar.
Bu iki aşamalı paradigma (ön eğitim, ardından ince ayar), sıfırdan eğitime göre çok daha az göreve özgü veriyle NLP ve bilgisayar görüşü görevlerinde tutarlı bir şekilde en gelişmiş sonuçları elde eder.
Yöntemin mantığı
Önceden eğitilmiş bir Transformer, zaten geniş veri kümelerinden dil veya görüntülerin zengin temsillerini öğrenmiştir. İnce ayar, alanı derinlemesine bilen bir uzmanı işe alıp ona özel işinizi öğretmek gibidir. Tüm bilgilerini sıfırdan yeniden yazmak yerine, göreviniz için küçük bir çıktı başlığı ekler ve etiketlenmiş örnekleriniz üzerinde düşük bir öğrenme oranıyla tüm ağı güncellersiniz. Önceden eğitilmiş ağırlıklar sıcak, güçlü bir başlangıç noktası sağlar, bu nedenle yalnızca birkaç yüz etiketlenmiş örnek bile güçlü performans sağlayabilir — sıfırdan eğitimde imkansız olan bir şey.
Tarih
Transformer mimarisi 2017'de Vaswani ve ark. tarafından tanıtıldı, tekrarlayan ağları kendi kendine dikkat mekanizmalarıyla değiştirdi. Howard ve Ruder (2018) ULMFiT ile dil modeli ince ayarını biçimlendirdi ve Devlin ve ark. (2019) bunu BERT'e ölçekleyerek, tek bir önceden eğitilmiş modelin ince ayarının on bir NLP kriterinde en iyi sonuçları elde ettiğini gösterdi. Bu ön eğitim-ince ayar paradigması hızla NLP'de baskın yaklaşım haline geldi ve ardından Vision Transformer'lar aracılığıyla bilgisayar görüşüne yayıldı.
Ne zaman kullanılır?
Etiketlenmiş bir metin, görüntü veya çok modlu göreviniz olduğunda ve büyük bir modeli sıfırdan eğitmeden en gelişmiş doğruluğu istediğinizde ince ayarlanmış Transformer'ları kullanın. Özellikle veri verimlidir (on ila binlerce örnek) çünkü önceden eğitilmiş temsiller gerekli bilginin çoğunu taşır. Özellikle sınıflandırma, NER ve soru yanıtlama gibi NLP görevleri ve ViT aracılığıyla artan bir şekilde görsel görevler için güçlüdür. Dağıtım ortamının büyük model çıkarımını (örneğin, niceleme olmadan katı gecikme/bellek bütçelerine sahip kenar cihazları) destekleyemediği, ön eğitim alanının hedef alandan önemli ölçüde farklı olduğu ve alana özgü bir kontrol noktası bulunmadığı veya tam model şeffaflığı ve katsayı yorumlanabilirliğinin incelemeciler veya düzenleyiciler tarafından gerekli olduğu durumlarda kullanmayın.
Sınırlar ve dikkat edilmesi gerekenler
- Önceden eğitilmiş Transformer modelleri büyüktür (110M-milyarlarca parametre), ince ayar için önemli GPU belleği ve hesaplama gerektirir.
- Doğası gereği kara kutu; standart ince ayar, yorumlanabilir katsayılar üretmez, bu da akademik raporlama normlarıyla çelişebilir.
- Özellikle küçük hedef veri kümelerinde, güvenilir tahminler elde etmek için birden çok çalıştırma gerektiren rastgele tohumlar arasında performans kararsız olabilir.
- Öğrenme oranı veya dönem sayısı çok yüksekse felaket unutma riski.
- Ön eğitim alanı ile hedef alan arasında hizalama gerektirir; uyumsuzluklar performansı önemli ölçüde düşürür.
Kaynak metnin koşulları, bağımsız bilimsel inceleme veya analiz motoru doğrulaması yerine geçmez.
Güçlü yönleri
- Göreceli olarak az sayıda etiketlenmiş örnekle çok çeşitli görevlerde en gelişmiş performansı elde eder.
- Milyarlarca parametrelik önceden öğrenilmiş temsillerden yararlanarak, gereken eğitim verilerini önemli ölçüde azaltır.
- Esnek mimari, tek bir çerçeve içinde sınıflandırma, regresyon, üretim, yapısal tahmin ve görsel görevleri destekler.
- Topluluk tarafından sürdürülen model merkezleri (Hugging Face Hub), ince ayar için hazır binlerce alana özgü kontrol noktası sağlar.
- Bağlamsal temsiller, kelime torbası ve RNN tabanlı modellerin kaçırdığı uzun menzilli bağımlılıkları yakalar.
- Standartlaştırılmış ince ayar tarifleri ve kütüphaneleri (Transformers, PyTorch Lightning), tekrarlanabilir uygulama engelini düşürür.
Uygulama alanları
- Metin sınıflandırması (duygu analizi, konu kategorizasyonu, nefret söylemi tespiti).
- Adlandırılmış varlık tanıma, sözcük türü etiketleme ve diğer dizi etiketleme görevleri.
- Alana özgü veri kümeleri üzerinde soru yanıtlama ve okuduğunu anlama.
- İnce ayarlanmış Vision Transformer'lar aracılığıyla görüntü sınıflandırması ve nesne tanıma.
- Alana özgü önceden eğitilmiş kontrol noktalarını kullanarak biyomedikal ve yasal belge analizi.
- Etiketlenmiş verinin az olduğu ancak çok dilli bir kontrol noktası (mBERT, XLM-R) mevcut olduğu düşük kaynaklı dil görevleri.
Nasıl çalışır?
Nasıl çalışır?
Ön eğitim alanı hedef görevle eşleşen bir Transformer kontrol noktası seçin. Metin görevleri için, büyük veri kümelerinde önceden eğitilmiş BERT, RoBERTa veya GPT-2 gibi modeller standarttır. Görüntü görevleri için, ImageNet veya CLIP üzerinde önceden eğitilmiş Vision Transformer (ViT) varyantları yaygındır. Hedef alanın kelime dağarcığı genel amaçlı veri kümelerinden saptığında, alana özgü önceden eğitilmiş modeller (örneğin, BioBERT, LegalBERT) tercih edilir.
Son transformer katmanının üzerine hafif, göreve özgü bir başlık ekleyin: dizi sınıflandırması için doğrusal bir sınıflandırma katmanı, dizi etiketleme (NER, POS) için bir belirteç düzeyinde doğrusal katman veya soru yanıtlama için bir aralık çıkarma başlığı. Yalnızca bu başlık rastgele başlatılır; transformer gövdesi önceden eğitilmiş ağırlıkları taşır.
Kelime dağarcığı hizalamasını korumak için etiketlenmiş hedef veri kümesini modelin orijinal belirteçleyicisiyle belirteçleyin. Modelin maksimum dizi uzunluğuna uyacak şekilde kesme ve dolgu uygulayın. Eğitim ve doğrulama kümelerine ayırın; sınıflandırma etiketleri dengesizse sınıfa göre katmanlandırın. Ciddi dengesizlik varsa sınıf ağırlıklarını hesaplayın veya aşırı örnekleme uygulayın.
Modeli, küçük bir öğrenme oranı (BERT ailesi modelleri için tipik olarak 1e-5 ila 5e-5) ve kısa bir program (çoğu NLP görevi için 2-5 dönem) kullanarak hedef veriler üzerinde uçtan uca eğitin. Adımların ilk %10'u boyunca öğrenme oranının doğrusal bir ısınması ve ardından doğrusal bir düşüşü standart uygulamadır. Her dönemde doğrulama kaybını izleyin ve önceden eğitilmiş bilginin felaket unutulmasını önlemek için erken durdurmayı uygulayın.
Formül
\mathcal{L} = -\sum_{i} y_i \log \hat{y}_iGörevi uygun metrikleri kullanarak ayrılmış bir test kümesi üzerinde değerlendirin: sınıflandırma için doğruluk ve makro-F1, NER ve QA için aralık düzeyinde F1, özetleme için ROUGE veya BERTScore. İnce ayar sonuçları, özellikle küçük veri kümelerinde başlangıç koşullarına duyarlı olabileceğinden, birden çok rastgele tohum üzerinden performansı bildirin.
Sık yapılan hatalar
- Felaket unutmaya neden olan çok yüksek bir öğrenme oranı (1e-4'ün üzerinde) kullanmak.
- Erken durdurma olmadan çok uzun süreler boyunca ince ayar yapmak, küçük hedef veri kümelerinde aşırı uyuma yol açar.
- Yüksek varyansı maskeleyerek, birden çok tohum üzerinden ortalama almadan tek bir ince ayar çalıştırmasından sonuçları bildirmek.
- Ön eğitim sırasında kullanılan belirteçleyiciden farklı bir belirteçleyici kullanarak belirteçleme hizalamasını göz ardı etmek.
- Genel amaçlı bir kontrol noktası seçmek, alana özgü bir model (örneğin, BioBERT, SciBERT) mevcut olduğunda ve açıkça daha uygun olduğunda.
Sık sorulan sorular
Bir Transformer'ı ince ayar yapmak için ne kadar etiketlenmiş örneğe ihtiyacım var?
Görev karmaşıklığına bağlıdır, ancak Transformer'lar özellikle veri açısından verimlidir. Sınıflandırma görevleri genellikle birkaç yüz ila birkaç bin etiketlenmiş örnekle iyi çalışır. Çok küçük veri kümeleri (yaklaşık 200 örneğin altında) için, LoRA veya istem ayarlaması gibi az örnekli veya parametre-verimli yöntemler daha kararlı olabilir.
Transformer gövdesini dondurup yalnızca başlığı mı eğitmeliyim?
Tam uçtan uca ince ayar, çoğu durumda yalnızca başlık eğitiminden tutarlı bir şekilde daha iyi performans gösterir. Gövdeyi dondurmak esas olarak çok az örneğiniz veya çok sınırlı hesaplama gücünüz olduğunda kullanışlıdır, ancak temsillerin göreve özgü uyarlamasından ödün verir.
Hangi öğrenme oranını kullanmalıyım?
BERT ailesi modelleri öğrenme oranına duyarlıdır. 1e-5 ile 5e-5 arasındaki değerler, toplam adımların %6-10'u boyunca doğrusal bir ısınma ile standart başlangıç noktalarıdır. 1e-4'ün üzerindeki oranlar tipik olarak felaket unutmaya neden olur.
Farklı önceden eğitilmiş kontrol noktaları arasında nasıl seçim yapmalıyım?
Mevcut olduğunda alana uygun kontrol noktalarını (biyomedikal için BioBERT, yasal metin için LegalBERT, bilimsel için SciBERT) tercih edin. Genel görevler için, RoBERTa veya DeBERTa tipik olarak standart BERT'ten daha iyi performans gösterir. Göreve özgü kriterler için Hugging Face model liderlik tablosunu kontrol edin.
İnce ayarlanmış Transformer, akademik raporlama için yeterince yorumlanabilir mi?
Geleneksel katsayı raporlama anlamında değil. Ancak, dikkat görselleştirmesi, entegre gradyanlar ve SHAP tabanlı açıklamalar, tahminleri hangi belirteçlerin yönlendirdiğini ortaya çıkarabilir. Bu teknikler uygulamalı NLP araştırmalarında giderek daha fazla kabul görmektedir, ancak kesin olarak onaylayıcı sosyal bilim bağlamlarında incelemecileri tatmin etmeyebilir.
İlgili yöntemler
Kaynaklar
Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, L., & Polosukhin, I. (2017). Attention is all you need. Advances in Neural Information Processing Systems, 30.
Yayın kaynağını açKopyalandı.Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (2019). BERT: Pre-training of deep bidirectional transformers for language understanding. Proceedings of NAACL-HLT 2019, 4171–4186.
Yayın kaynağını açKopyalandı.