İçeriğe atla
Arama sonuçlarına dön

Çok Başlı Öz-Dikkat

Ortaya koyan
Vaswani, A. et al.
Yıl
2017
Tür
Attention mechanism (Transformer core)

Bu metin makine çevirisidir ve henüz incelenmedi. Asıl metni İngilizce oku

Yazı boyutu

Ne işe yarar?

Çok başlı öz-dikkat, 2017'de Vaswani ve arkadaşları tarafından tanıtılan, bir dizideki her pozisyonun diğer tüm pozisyonlarla olan ilişkisini paralel olarak hesaplamasına olanak tanıyan mekanizmadır.

Transformer mimarisinin özünü ve BERT, GPT ve T5'in temelini oluşturur.

Yöntemin mantığı

Önceki dizi modelleri metni adım adım işliyordu, bu da uzun menzilli ilişkilerin yakalanmasını zorlaştırıyor ve hesaplamayı yavaşlatıyordu. Öz-dikkat bunun yerine her bir jetonun diğer tüm jetonlara doğrudan bir kerede bakmasına ve her birine ne kadar ağırlık vereceğine karar vermesine olanak tanır, böylece uzak bağlama bağlı anlam tek bir paralel geçişte yakalanır.

Tarih

Öz-dikkat, 2017 tarihli 'Attention Is All You Need' adlı makalede Vaswani ve arkadaşları tarafından tanıtıldı; bu makale Transformer mimarisini önerdi ve tekrarlamayı tamamen ortadan kaldırdı. Hızla büyük önceden eğitilmiş dil modellerinin temeli haline geldi: Devlin ve arkadaşları 2019'da çift yönlü Transformer'lar üzerine BERT'i inşa ettiler ve aynı mekanizma GPT ve T5'in temelini oluşturuyor.

Ne zaman kullanılır?

Metin veya uzak öğeler arasındaki ilişkilerin önemli olduğu ve yeterli veriyle büyük bir model eğitebildiğiniz dizisel verileri modellerken öz-dikkat kullanın — en az yaklaşık 100 gözlem, 500 veya daha fazlası tercih edilir. Bir GPU önerilir, konumsal kodlama gereklidir ve hesaplama maliyetinin dizi uzunluğuyla karesel olarak arttığına dikkat edin. Çok küçük örneklemlerde güvenilir temsiller öğrenemez; orada daha basit makine öğrenmesi modelleri daha güvenlidir.

Sınırlar ve dikkat edilmesi gerekenler

  • Hesaplama ve bellek maliyeti dizi uzunluğuyla karesel olarak artar, bu da çok uzun dizileri pahalı hale getirir.
  • Pratik eğitim için etkili bir şekilde bir GPU gereklidir.
  • Dikkat tek başına sıradan bağımsız olduğu için konumsal kodlama gerektirir.
  • Küçük veri kümelerinde (yaklaşık 500'ün altındaki n) aşırı uyum sağlar ve güvenilir temsiller öğrenemez.

Kaynak metnin koşulları, bağımsız bilimsel inceleme veya analiz motoru doğrulaması yerine geçmez.

Güçlü yönleri

  • Tekrarlamanın darboğazı olmadan, uzun menzilli bağımlılıkları doğrudan yakalar.
  • Pozisyonlar arasındaki tam paralel hesaplama, modern donanımda iyi ölçeklenir.
  • Birden çok başlık aynı anda farklı ilişki örüntülerine dikkat edebilir.
  • BERT, GPT ve T5 için paylaşılan omurga görevi görür, kapsamlı transfer öğrenme desteği ile.

Uygulama alanları

  • Metin sınıflandırma ve diğer denetimli doğal dil görevleri.
  • Dizisel veriler üzerinde tahmin ve temsil öğrenme.
  • BERT ve GPT gibi büyük dil modellerinin önceden eğitilmesi ve ince ayarlanması.
  • Dizi öğeleri arasındaki uzun menzilli ilişkilerin modellenmesi gereken herhangi bir ortam.

Nasıl çalışır?

Nasıl çalışır?

1

Her girdi pozisyonu, ayrı ağırlık matrisleri aracılığıyla sorgu, anahtar ve değer olmak üzere üç öğrenilmiş vektöre eşlenir. Sorgu, bir jetonun ne aradığını; anahtar, her jetonun ne sunduğunu; değer ise iletilen içeriği temsil eder.

Formül
Q = XW_Q,\; K = XW_K,\; V = XW_V
2

Her sorgu, değerleri sabit tutmak için anahtar boyutunun kareköküyle ölçeklendirilerek tüm anahtarlarla karşılaştırılır ve dikkat ağırlıklarını üretmek için bir softmax fonksiyonundan geçirilir. Her pozisyonun çıktısı, tüm değer vektörlerinin ağırlıklı toplamıdır, böylece tüm diziden bilgiyi bir kerede harmanlar.

Formül
\text{Attention}(Q,K,V) = \text{softmax}\!\left(\frac{QK^\top}{\sqrt{d_k}}\right)V
3

Dikkat, paralel olarak birkaç kez ayrı başlıklar olarak çalıştırılır, her biri kendi projeksiyonlarına sahiptir, böylece farklı başlıklar farklı türdeki ilişkilere odaklanabilir. Çıktıları birleştirilir ve tekrar birlikte projeksiyonlanır ve pozisyonlar aksi takdirde değiştirilebilir olduğundan, sıra bilgisi korunur.

Formül
\text{MultiHead}(X) = \text{Concat}(\text{head}_1,\dots,\text{head}_h)W_O

Sık yapılan hatalar

  • Çok az veriyle eğitim — yaklaşık 500 örneğin altında mekanizma faydalı temsiller öğrenmek yerine aşırı uyum sağlar.
  • Pozisyonel kodlamayı unutmak, bu da modeli kelime sırasına karşı kör bırakır.
  • Uzun dizilerin karesel maliyetini hafife almak ve belleğin tükenmesi.
  • Basit bir rastgele orman veya XGBoost modelinin daha iyi olacağı küçük örneklemlerde Transformer kullanmaya çalışmak.

Sık sorulan sorular

Dikkat puanı neden anahtar boyutunun kareköküyle ölçeklendirilir?

Ölçeklendirme olmadan, anahtar boyutu arttıkça nokta çarpımları büyür ve softmax'i yok olan gradyan bölgelerine iter. Anahtar boyutunun kareköküne bölmek, puanları kararlı bir aralıkta tutar.

Birden çok başlık ne ekler?

Her başlık kendi sorgu, anahtar ve değer projeksiyonlarını öğrenir, böylece farklı başlıklar aynı anda farklı türdeki ilişkilere dikkat edebilir. Çıktıları birleştirilir ve tek bir temsile geri projeksiyonlanır.

Konumsal kodlama neden gereklidir?

Öz-dikkat, pozisyonları değiştirilebilir kabul eder, bu nedenle kendi başına bir sıra anlayışı yoktur. Konumsal kodlama, her jetonun pozisyonu hakkında bilgi enjekte eder, böylece model kelime sırasını kullanabilir.

Ne kadar veriye ihtiyaç duyar?

Veri açtır: yaklaşık 500 örneğin altında aşırı uyum sağlar ve güvenilir temsiller öğrenemez ve yaklaşık 100'ün altında bir Transformer eğitmek anlamlı değildir. Küçük örneklemler için rastgele orman veya XGBoost gibi daha basit modeller tercih edilir.

İlgili yöntemler

Kaynaklar

  1. Vaswani, A. et al. (2017). Attention Is All You Need. NeurIPS.

    Yayın kaynağını aç
    Kopyalandı.
  2. Devlin, J. et al. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. NAACL.

    Yayın kaynağını aç
    Kopyalandı.