İçeriğe atla
Arama sonuçlarına dön

Uzmanlar Karması

Ortaya koyan
Shazeer, N. et al.
Yıl
2017
Tür
Sparse neural network architecture (conditional computation)

Bu metin makine çevirisidir ve henüz incelenmedi. Asıl metni İngilizce oku

Yazı boyutu

Ne işe yarar?

Uzmanlar Karması (MoE), Shazeer ve meslektaşları tarafından 2017'de tanıtılan, her girdi için yalnızca uzman alt ağlarının bir alt kümesinin etkinleştirildiği seyrek geçitli bir MoE katmanı ile ortaya çıkan bir seyrek sinir ağı mimarisidir.

Switch Transformer ve Mixtral gibi modellerde görüldüğü gibi, toplam parametre sayısı artsa bile hesaplama maliyetini sabit tutar.

Yöntemin mantığı

Her girdiyi devasa bir ağdan geçirmek yerine, MoE uzmanlaşmış uzman ağlarından oluşan bir panel ve her girdinin hangi az sayıda uzmana danışması gerektiğini belirleyen bir yönlendirici (router) bulundurur. Her girdi başına yalnızca birkaç uzmanın ateşlenmesi nedeniyle, model devasa sayıda parametre taşıyabilirken, örnek başına kabaca aynı miktarda iş yapar — tıpkı tüm hastaneye danışmak yerine bir soruyla ilgili yalnızca iki uzmana danışmak gibi.

Tarih

Seyrek geçitli Uzmanlar Karması katmanı, 2017'de Shazeer ve meslektaşları tarafından 'Outrageously Large Neural Networks' adlı çalışmada tanıtıldı. Bu çalışma, koşullu hesaplamanın, hesaplamayı kabaca sabit tutarken model kapasitesini kat kat artırabileceğini gösterdi. Fikir daha sonra transformatör dil modellerine — özellikle Switch Transformer'a ve 2024'te Mixtral'a — taşındı ve MoE'yi çok büyük ancak verimli modeller için standart bir yol olarak kabul ettirdi.

Ne zaman kullanılır?

Önemli miktarda veriniz (yaklaşık 1.000 gözlem veya daha fazla) ve bir GPU kümesiyle büyük ölçekli eğitim altyapınız olduğunda, metin ve sürekli özellik verileri üzerinde büyük ölçekli tahmin veya sınıflandırma için MoE kullanın. Bir yönlendirici dengeleme kaybının uygulandığını ve eğitim işlem hattının seyrek geçitlemeyi destekleyebildiğini varsayar. Yaklaşık 1.000 örneğin altında, yönlendirici dengeli uzman seçimini öğrenemez ve eğitim kararsızdır; yaklaşık 500'ün altında, model aşırı uyum sağlar ve tek bir yoğun model tercih edilir.

Sınırlar ve dikkat edilmesi gerekenler

  • Büyük ölçekli eğitim altyapısı ve bir GPU kümesi gerektirir.
  • Bir yönlendirici dengeleme kaybı gerektirir; aksi takdirde yük birkaç uzmana çöker.
  • Küçük verilerde (yaklaşık 1.000'in altındaki n) yönlendirici uzman seçimini dengeleyemez ve eğitim kararsızdır.
  • Çok az veriyle (yaklaşık 500'ün altındaki n) model aşırı uyum sağlar ve tek bir yoğun model yeterlidir.

Kaynak metnin koşulları, bağımsız bilimsel inceleme veya analiz motoru doğrulaması yerine geçmez.

Güçlü yönleri

  • Model kapasitesini girdi başına hesaplamadan ayırır — toplam parametreler artabilirken örnek başına hesaplama sabit kalır.
  • Uzmanlar uzmanlaşır, tek bir mimarinin heterojen girdileri kapsamasını sağlar.
  • Switch Transformer ve Mixtral gibi sistemlerde ölçekte kanıtlanmıştır.
  • En iyi K seyrek yönlendirme, çıkarım maliyetini eşit parametre sayısına sahip yoğun bir modelinkinden çok daha düşük tutar.

Uygulama alanları

  • Çıkarım maliyetini artırmadan parametre sayısını artıran büyük dil modelleri (örneğin Mixtral).
  • Büyük ölçekli metin tahmini ve sınıflandırması.
  • Kapasitenin verimli bir şekilde büyümesi gereken yüksek boyutlu sürekli özellikler üzerinde tahmin görevleri.
  • Heterojen girdileri uzmanlaşmış alt ağlara yönlendiren koşullu hesaplama mimarileri.

Nasıl çalışır?

Nasıl çalışır?

1

Katman, her biri küçük bir ileri beslemeli ağ olan birçok paralel uzman alt ağı barındırır. Uzmanlar uzmanlaşmak üzere eğitilir, böylece farklı girdiler farklı uzmanlara yönlendirilir. Yalnızca seçilen uzmanlar belirli bir girdiyi işler, bu nedenle girdi başına hesaplama artmadan toplam kapasite artabilir.

2

Bir geçit ağı (yönlendirici), her girdi için uzmanları puanlar ve yalnızca en iyi K tanesini tutar. Bu en iyi K puanlar üzerindeki bir softmax, yönlendirme ağırlıklarını üretir. Büyük ölçekli eğitim sırasında, yükün birkaç favoriye çökmesi yerine uzmanlar arasında yayılmasını sağlamak için bir yönlendirici dengeleme kaybı uygulanır.

Formül
G(x) = \text{Softmax}(\text{TopK}(x \cdot W_g))
3

Seçilen uzmanların çıktıları, katsayı olarak geçit ağırlıkları kullanılarak ağırlıklı bir toplam olarak birleştirilir. Bu seyrek birleşim, parametre sayısı — ve dolayısıyla model kapasitesi — ölçeklenirken hesaplamayı sabit tutan şeydir.

Formül
y = \sum_{i \in \text{TopK}} G(x)_i \, E_i(x)

Sık yapılan hatalar

  • Yönlendirici dengeleme kaybının atlanması, böylece birkaç uzman baskın hale gelir ve diğerleri boşta kalır.
  • Tek bir yoğun modelin daha güvenilir bir şekilde eğitileceği küçük veri kümelerine MoE uygulanması.
  • Seyrek eğitim için gereken GPU ve altyapı ayak izini hafife almak.
  • Uzman sayısını, yönlendirme kararsızlığını hesaba katmadan ücretsiz kapasite olarak ele almak.

Sık sorulan sorular

MoE, hesaplama eklemeden parametreleri neden ekler?

Her girdi için yalnızca yönlendirici tarafından seçilen en iyi K uzmanlar çalışır, bu nedenle katman birçok uzman barındırsa da, her örnek yalnızca birkaçına dokunur. Toplam kapasite uzman sayısı ile ölçeklenirken, girdi başına hesaplama kabaca sabit kalır.

Yönlendirici dengeleme kaybı ne içindir?

Yalnız bırakıldığında, yönlendirici çoğu girdiyi az sayıda uzmana gönderme eğilimindedir, diğerlerini eğitimsiz bırakır. Dengeleme kaybı, trafiğin uzmanlar arasında yayılmasını ve tam kapasitenin gerçekten kullanılmasını sağlamak için düzensiz yükü cezalandırır.

MoE ne kadar veriye ihtiyaç duyar?

Büyük ölçekli ortamlar için tasarlanmıştır — kabaca 1.000 örnek veya daha fazla. Bunun altında yönlendirici dengeli uzman seçimini öğrenemez ve eğitim kararsız hale gelir; yaklaşık 500 örneğin altında, tek bir yoğun model daha az aşırı uyum sağlar ve daha güvenli bir seçimdir.

Özel donanıma ihtiyacım var mı?

Evet. MoE, birçok uzman ve seyrek yönlendirme dağıtılmış, yüksek verimli eğitim için tasarlandığından, büyük ölçekli eğitim altyapısı ve bir GPU kümesi varsayar.

İlgili yöntemler

Kaynaklar

  1. Shazeer, N. et al. (2017). Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer. ICLR. arXiv:1701.06538

    Yayın kaynağını aç
    Kopyalandı.
  2. Jiang, A.Q. et al. (2024). Mixtral of Experts. arXiv.

    Yayın kaynağını aç
    Kopyalandı.