LoRA ve PEFT
- Ortaya koyan
- Hu, E. J. et al.; Lester, B. et al.
- Yıl
- 2022
- Tür
- Parameter-efficient fine-tuning of large pretrained models
Bu metin makine çevirisidir ve henüz incelenmedi. Asıl metni İngilizce oku
Ne işe yarar?
Hu ve ark. tarafından 2022'de tanıtılan LoRA (Düşük Dereceli Adaptasyon) ve daha geniş bir aile olan parametre-verimli ince ayar (PEFT) yöntemleri, büyük önceden eğitilmiş dil modellerini, modeldeki her ağırlık yerine yalnızca az sayıda ek parametre eğiterek yeni görevlere uyarlar.
Bu, orijinal modeli büyük ölçüde dokunulmadan bırakırken, çok daha az GPU belleği ve hesaplama ile ince ayar yapmayı mümkün kılar.
Yöntemin mantığı
Büyük bir dil modeline tam ince ayar yapmak, milyarlarca ağırlığı güncellemeyi gerektirir; bu, bellek ve hesaplama açısından maliyetlidir ve her görev için modelin tam bir kopyasını üretir. LoRA'nın arkasındaki temel fikir, bir görevin gerektirdiği değişikliğin genellikle düşük dereceli olmasıdır: her ağırlığa yoğun bir güncelleme yerine küçük bir matris çiftiyle yakalanabilir. PEFT yöntemleri, orijinal modeli dondurarak ve yalnızca küçük bir yeni parametre kümesini eğiterek bunu kullanır, böylece tek bir temel model birçok göreve ucuza özelleştirilebilir.
Tarih
LoRA, Hu ve ark. tarafından 2022'de tanıtıldı ve büyük bir dil modelini uyarlamak için gereken ağırlık güncellemesinin, tam ince ayar yerine eğitilen düşük dereceli bir ayrışma olarak temsil edilebileceğini öne sürdü. Bu yöntem, Lester ve ark. (2021) tarafından yapılan istem ayarlaması (prompt tuning) dahil olmak üzere daha önceki parametre-verimli fikirler üzerine inşa edildi; bu, model ölçeği büyüdükçe yalnızca küçük bir yumuşak istem (soft-prompt) parametre kümesini uyarlamanın giderek daha rekabetçi hale geldiğini gösterdi. Bu yöntemler birlikte, parametre-verimli ince ayarı, büyük önceden eğitilmiş modelleri ucuza özelleştirmenin standart yolu olarak belirledi.
Ne zaman kullanılır?
Büyük bir önceden eğitilmiş dil modelini belirli bir metin sınıflandırma veya tahmin görevine uyarlamak istediğinizde, ancak tam ince ayarın bellek ve hesaplama maliyetini karşılayamadığınızda LoRA ve PEFT kullanın. Büyük bir önceden eğitilmiş modelin zaten mevcut olması, göreve özgü verilerin hazırlanması ve bir GPU önerilir. Bu yöntemler, önemli bir görev veri kümesiyle en iyi şekilde çalışır; çok küçük veri kümeleriyle (birkaç yüz örnekten az) adaptasyon aşırı uyuma (overfitting) eğilimlidir ve rastgele orman (random forest) veya gradyan artırma (gradient boosting) gibi daha basit bir model daha güvenlidir.
Sınırlar ve dikkat edilmesi gerekenler
- Başlamak için büyük bir önceden eğitilmiş model gerektirir; bir modeli sıfırdan eğitmez.
- Bir GPU önerilir ve göreve özgü veriler önceden hazırlanmalıdır.
- Küçük görev veri kümelerinde (yaklaşık 500 örnekten az) ince ayar yeterli adaptasyon sağlamayabilir ve aşırı uyum riski taşır.
- Çok az görev verisiyle (yaklaşık 50 örnekten az) parametre-verimli ince ayar bile anlamsız hale gelir.
Kaynak metnin koşulları, bağımsız bilimsel inceleme veya analiz motoru doğrulaması yerine geçmez.
Güçlü yönleri
- Yalnızca küçük bir parametre kümesi eğitildiği için, tam ince ayardan önemli ölçüde daha düşük GPU belleği ve hesaplama gerektirir.
- Orijinal önceden eğitilmiş model dondurulur ve görevler arasında yeniden kullanılır, böylece tek bir temel model birçok kez özelleştirilebilir.
- Öğrenilen düşük dereceli güncelleme, ağırlıklara geri birleştirilebilir, çıkarım zamanı ek yükü oluşturmaz.
- LoRA, önek ayarlama (prefix tuning), istem ayarlama (prompt tuning) gibi bir dizi seçeneği kapsar, böylece adaptasyon en iyi çalıştığı yere yerleştirilebilir.
Uygulama alanları
- Büyük bir önceden eğitilmiş dil modelini alana özgü bir metin sınıflandırma görevine uyarlamak.
- Tek bir temel modeli, görev başına tam bir kopya depolamadan birçok göreve özelleştirmek.
- Tam ince ayarın mümkün olmadığı sınırlı GPU belleği altında ince ayar yapmak.
- Mevcut bir önceden eğitilmiş dil modeline dayanan metin tahmin görevleri.
Nasıl çalışır?
Nasıl çalışır?
Önceden eğitilmiş büyük bir model sabit bir başlangıç noktası olarak alınır. Tüm ağırlıklarına ince ayar yapmak yerine, orijinal parametreler dondurulur ve hedef görev için yalnızca küçük bir ek parametre kümesi tanıtılır ve eğitilir. LoRA, önek ayarlama (prefix tuning) ve istem ayarlama (prompt tuning), bu ailenin başlıca yöntemleridir ve her biri parametreleri farklı bir yere ekler.
LoRA'da, dondurulmuş bir ağırlık matrisine yapılan güncelleme düşük dereceli olacak şekilde kısıtlanır: iki küçük matrisin çarpımı olarak yazılır, böylece orijinal ağırlıklar sabit kalırken yalnızca bu küçük matrisler eğitilir. Derece, ağırlık boyutlarından çok daha küçük olduğu için, eğitilebilir parametre sayısı önemli ölçüde azalır, bu da ince ayarın bellek ve hesaplama maliyetini düşürür.
Formül
W = W_0 + \Delta W = W_0 + BA,\quad B \in \mathbb{R}^{d\times r},\ A \in \mathbb{R}^{r\times k},\ r \ll \min(d,k)Yalnızca eklenen küçük parametreler, göreve özgü veriler üzerinde optimize edilir ve tam ince ayardan çok daha az GPU belleği kullanır. Temel model, görevler arasında değişmeden yeniden kullanılır ve öğrenilen düşük dereceli güncelleme, çıkarım için ağırlıklara geri birleştirilebilir. Bir GPU önerilir ve adaptasyonun anlamlı olması için makul büyüklükte bir görev veri kümesi gereklidir.
Sık yapılan hatalar
- LoRA/PEFT'i küçük bir veri kümesine uygulamak ve klasik bir modele geri dönmek yerine güvenilir adaptasyon beklemek.
- Parametre-verimli ince ayarı, uygun bir önceden eğitilmiş temel modele sahip olmanın yerine geçecek bir şey olarak görmek.
- Doğrulama performansını izlemek yerine, küçük görev verilerindeki aşırı uyum riskini göz ardı etmek.
- Yöntemin, bir GPU önerildiğinde bile GPU ihtiyacını ortadan kaldırdığını varsaymak.
Sık sorulan sorular
LoRA ve PEFT arasındaki fark nedir?
PEFT (parametre-verimli ince ayar), yalnızca az sayıda ek parametre eğiterek büyük bir modeli uyarlayan geniş yöntem ailesidir. LoRA, ağırlıklara düşük dereceli bir güncelleme eğiten belirli bir PEFT yöntemidir; önek ayarlama (prefix tuning) ve istem ayarlama (prompt tuning) aynı ailenin diğer üyeleridir.
Ne kadar veriye ihtiyacım var?
Bu yöntemler makul büyüklükte bir görev veri kümesine ihtiyaç duyar. Yaklaşık 500 örnekten az olduğunda adaptasyon yetersiz olabilir ve aşırı uyuma eğilimli olabilir; yaklaşık 50 örnekten az olduğunda ise parametre-verimli ince ayar anlamsız hale gelir — bu durumda klasik bir model daha iyi bir seçimdir.
GPU'ya ihtiyacım var mı?
Bir GPU önerilir. PEFT yöntemleri tam ince ayardan çok daha az bellek kullansa da, eklenen parametreleri büyük bir önceden eğitilmiş model üzerinde eğitmek, GPU hızlandırmasından önemli ölçüde fayda sağlar.
Güncelleme neden düşük dereceli?
Önceden eğitilmiş bir modeli yeni bir göreve uyarlamak için gereken değişiklik, genellikle her ağırlığa yoğun bir güncelleme yerine küçük, düşük dereceli bir düzeltmeyle yakalanabilir. Bunu iki küçük matrisin çarpımı olarak temsil etmek, eğitilebilir parametre sayısının — ve maliyetin — önemli ölçüde düşmesini sağlar.
İlgili yöntemler
Kaynaklar
Hu, E. J. et al. (2022). LoRA: Low-Rank Adaptation of Large Language Models. ICLR.
Yayın kaynağını açKopyalandı.Lester, B. et al. (2021). The Power of Scale for Parameter-Efficient Prompt Tuning. EMNLP.
DOI kaynağını açKopyalandı.