İçeriğe atla
Arama sonuçlarına dön

GPT İnce Ayarı

Ortaya koyan
Radford, A. et al. (OpenAI)
Yıl
2019
Tür
Fine-tuning of pretrained autoregressive language models

Bu metin makine çevirisidir ve henüz incelenmedi. Asıl metni İngilizce oku

Yazı boyutu

Ne işe yarar?

GPT ince ayarı, GPT-2/3/4 veya LLaMA gibi önceden eğitilmiş otoregresif dil modellerini — OpenAI'nin 2019 tarihli Radford ve meslektaşlarının çalışmasında tanıtılan — alan özgü verilere veya insan geri bildiriminden pekiştirmeli öğrenme (RLHF) veya DPO yoluyla talimat takibine uyarlar.

Talimat takibi, alan uyarlaması ve üretken görevler için kullanılır.

Yöntemin mantığı

Büyük bir dil modeli zaten devasa bir metin külliyatından dilbilgisi, gerçekler ve akıl yürütme kalıpları öğrenmiş olduğundan, sıfırdan eğitime nadiren ihtiyaç duyarsınız. İnce ayar, o önceden eğitilmiş modeli alır ve çok daha küçük, göreve özgü bir dizi istem-tamamlama örneği üzerinde eğitime devam ederek sizin kendi görevinize — alanınızın kelime dağarcığına, tercih ettiğiniz yanıt stiline, talimatlarınıza — doğru iter.

Tarih

GPT ince ayarı, büyük dil modellerinin denetimsiz çok görevli öğreniciler olarak davrandığını gösteren OpenAI'nin 2019 tarihli raporunda Radford ve meslektaşları tarafından açıklanan otoregresif dil modelleri üzerine inşa edilmiştir. Ouyang ve meslektaşları (2022) daha sonra insan geri bildirimli eğitim (RLHF) ile modellerin talimatları çok daha güvenilir bir şekilde takip etmesini sağladı ve günümüzde kullanılan talimat uyarlama paradigmasını şekillendirdi.

Ne zaman kullanılır?

Önceden eğitilmiş bir GPT ailesi modeliniz olduğunda, verileriniz istem-tamamlama biçiminde hazırlandığında ve yeterli hesaplama gücü (GPU/TPU) mevcut olduğunda metin sınıflandırması, tahmini veya üretimi için GPT ince ayarını kullanın. Normal dağılımlı verileri varsaymaz. Daha büyük bir veri kümesi şiddetle tercih edilir: kabaca 500 örneğin altında model aşırı uyuma eğilimindedir ve üretken kalite düşer, yaklaşık 50 örneğin altında ince ayar anlamlı sonuçlar üretmez — rastgele orman veya XGBoost gibi daha basit modeller orada daha güvenlidir.

Sınırlar ve dikkat edilmesi gerekenler

  • Önceden eğitilmiş bir GPT modeli ve tipik olarak GPU/TPU hesaplama gücü gerektirir.
  • Veriler dikkatlice istem-tamamlama biçiminde hazırlanmalıdır.
  • Küçük veri kümelerinde (yaklaşık 500 örneğin altında) model aşırı uyum sağlar ve üretken kalite düşer.
  • Çok az veriyle (yaklaşık 50 örneğin altında) ince ayar anlamlı çıktı üretemez.

Kaynak metnin koşulları, bağımsız bilimsel inceleme veya analiz motoru doğrulaması yerine geçmez.

Güçlü yönleri

  • Büyük ölçekli ön eğitim sırasında zaten yakalanan geniş bilgi birikimi üzerine inşa eder, bu nedenle sıfırdan eğitime göre çok daha az görev verisi gerekir.
  • Tek bir çerçeve içinde metin sınıflandırması, tahmini ve açık uçlu üretken görevleri işler.
  • Varsayım hafifliği: normal dağılımlı verileri gerektirmez.
  • RLHF veya DPO uyarlaması, modelin talimatları izlemesini ve insan tercihlerine uymasını sağlar.

Uygulama alanları

  • Genel bir dil modelinin uzmanlaşmış metne alan uyarlaması.
  • Talimat takibi ve asistan tarzı üretim.
  • Metin verileri üzerinde metin sınıflandırması ve tahmini görevleri.
  • Akıcı, göreve uyarlanmış metin çıktısının gerekli olduğu üretken görevler.

Nasıl çalışır?

Nasıl çalışır?

1

Geniş dil bilgisi taşıyan önceden eğitilmiş bir GPT ailesi modeliyle başlarsınız. İstem-tamamlama biçiminde bir ince ayar veri kümesi hazırlanır ve göreve ve donanıma bağlı olarak bir GPU veya TPU gerekebilir.

2

Model, görevin verileri üzerinde eğitime devam eder, otoregresif dil modelleme kaybını — kendinden önceki belirteçler verildiğinde her bir sonraki belirtecin negatif log-olabilirlik değerini — en aza indirir. Bu, modelin davranışını hedef alana doğru kaydırırken, ön eğitim sırasında öğrendiği genel yetkinliği korur.

Formül
\mathcal{L} = -\sum_{t} \log P(x_t \mid x_{<t})
3

Talimat takibi için, model insan geri bildiriminden pekiştirmeli öğrenme (RLHF) veya doğrudan tercih optimizasyonu (DPO) kullanılarak insan tercihlerine daha fazla uyum sağlar, böylece çıktıları insanların verdiği talimatlara ve beklentilere daha iyi uyar.

Sık yapılan hatalar

  • Çok az örnek üzerinde ince ayar yapmak ve akıcı görünen ancak aşırı uyum sağlamış çıktılara güvenmek.
  • Eğitim verilerinin temiz istem-tamamlama biçimlendirmesini atlamak.
  • Talimat takibi hedeflendiğinde RLHF/DPO uyarlamasının isteğe bağlı olduğunu varsaymak.
  • Küçük bir veri kümesinde rastgele orman veya XGBoost'un daha güvenilir olacağı durumlarda GPT ince ayarını kullanmaya çalışmak.

Sık sorulan sorular

Bir GPT modelini ince ayarlamak için ne kadar veriye ihtiyacım var?

Daha fazlası şiddetle tercih edilir. Kabaca 500 örneğin altında model aşırı uyuma eğilimindedir ve üretken kalite düşer; yaklaşık 50 örneğin altında ince ayar anlamlı sonuçlar üretmez ve rastgele orman veya XGBoost gibi daha basit bir model daha güvenlidir.

İnce ayar ile RLHF/DPO arasındaki fark nedir?

İnce ayar, dil modelleme kaybını en aza indirmek için alan veya görev verileri üzerinde eğitime devam eder. RLHF ve DPO, modellerin insan tercihlerine daha fazla uyum sağlaması için yapılan uyarlama adımlarıdır, böylece talimatları takip eder ve beklenen yanıt stilini üretir.

GPU'ya ihtiyacım var mı?

Genellikle evet. Büyük otoregresif modelleri ince ayarlamak hesaplama açısından yoğundur ve model boyutuna ve göreve bağlı olarak bir GPU veya TPU gerekebilir.

Verilerimi nasıl biçimlendirmeliyim?

İnce ayardan önce istem-tamamlama biçiminde hazırlayın — her örnek bir girdi istemini istenen model çıktısıyla eşleştirir.

İlgili yöntemler

Kaynaklar

  1. Radford, A., Wu, J., Child, R., Luan, D., Amodei, D. & Sutskever, I. (2019). Language Models are Unsupervised Multitask Learners. OpenAI Technical Report.

    Yayın kaynağını aç
    Kopyalandı.
  2. Ouyang, L. et al. (2022). Training Language Models to Follow Instructions with Human Feedback. NeurIPS.

    DOI kaynağını aç
    Kopyalandı.