İçeriğe atla
Arama sonuçlarına dön

Dikkat Mekanizması

Ortaya koyan
Bahdanau, D.; Luong, M.T.
Yıl
2015
Tür
Neural attention layer (encoder-decoder)

Bu metin makine çevirisidir ve henüz incelenmedi. Asıl metni İngilizce oku

Yazı boyutu

Ne işe yarar?

Bahdanau, Cho ve Bengio tarafından 2015'te tanıtılan ve aynı yıl Luong, Pham ve Manning tarafından geliştirilen dikkat mekanizması, bir dizi kod çözücünün her adımda kodlayıcının çıktılarından hangisine odaklanacağını dinamik olarak öğrenmesini sağlar.

Transformer'dan önce, modelleri tüm girdiyi tek bir sabit vektöre sıkıştırmaktan kurtararak makine çevirisi kalitesini önemli ölçüde iyileştirdi.

Yöntemin mantığı

Düz bir kodlayıcı-kod çözücü, tüm bir girdi dizisini tek bir sabit bağlam vektörüne sıkıştırır, bu da uzun diziler için bir darboğaz haline gelir. Dikkat bu darboğazı kaldırır: her çıktı adımında kod çözücü, tüm kodlayıcı durumlarına geri bakar ve üretmek üzere olduğu kelime için önemli olan az sayıda konuma sıkıca yaslanarak ağırlıklı bir karışım hesaplar. Bu, tüm cümleyi bir kerede hatırlamaya çalışmak yerine en ilgili kaynak kelimelere geri göz atan bir çevirmen gibidir.

Tarih

Dikkat mekanizması, 2015 yılında Bahdanau, Cho ve Bengio tarafından sinirsel makine çevirisi için tanıtıldı, hizalama ve çevirmeyi ortaklaşa öğrenerek modelin artık tüm kaynak cümleyi tek bir vektöre sıkıştırmak zorunda kalmamasını sağladı. Aynı yıl Luong, Pham ve Manning etkili nokta çarpımı (çarpımsal) varyantları önerdi. Dikkat, çeviri kalitesini önemli ölçüde artırdı ve ardından gelen Transformer mimarisi için kavramsal tohum haline geldi.

Ne zaman kullanılır?

Bir dizi-dizi problemiyle — makine çevirisi veya diğer metin ve sürekli dizi görevleri gibi — tahmin veya yorumlanabilir hizalamanın önemli olduğu ve bir dizi-dizi omurgasının zaten mevcut olduğu durumlarda dikkat kullanın. Çalışan bir dizi-dizi mimarisi varsayar ve bir bağlam vektörünün hesaplanabileceğini varsayar. En az birkaç yüz örnek planlayın; yaklaşık 500 veya daha az örnekle mekanizma anlamlı ağırlıklar öğrenmekte zorlanır ve yaklaşık 100'ün altında dikkat tabanlı eğitim buna değmez — Rastgele Orman veya XGBoost gibi daha basit modeller daha güvenlidir.

Sınırlar ve dikkat edilmesi gerekenler

  • Mevcut bir dizi-dizi omurgası ve bir bağlam vektörü hesaplama yeteneği gerektirir.
  • Küçük veri kümelerinde (yaklaşık 500 örnek veya daha az) anlamlı ağırlıklar öğrenemez ve aşırı uyum eğilimindedir.
  • Yaklaşık 100 gözlemin altında dikkat tabanlı eğitim esasen anlamsızdır.
  • Temel kodlayıcı-kod çözücü modelin üzerine hesaplama maliyeti ekler.

Kaynak metnin koşulları, bağımsız bilimsel inceleme veya analiz motoru doğrulaması yerine geçmez.

Güçlü yönleri

  • Sabit vektör darboğazını kaldırır, uzun dizilerin işlenmesini büyük ölçüde iyileştirir.
  • Dikkat ağırlıkları, girdi ve çıktı arasında yorumlanabilir bir hizalama sağlar.
  • Her kod çözme adımında en ilgili kodlayıcı konumlarına dinamik olarak odaklanır.
  • Makine çevirisi kalitesini önemli ölçüde iyileştirdi ve Transformer'ın yolunu açtı.

Uygulama alanları

  • Dil çiftleri arasında sinirsel makine çevirisi.
  • Dizi-dizi metin üretimi ve özetleme.
  • Sürekli diziler ve zaman serisi tarzı girdiler üzerinde tahmin.
  • Analiz için yorumlanabilir girdi-çıktı hizalamaları üretme.

Nasıl çalışır?

Nasıl çalışır?

1

Her kod çözme adımında, mevcut kod çözücü durumu, bir alaka puanı üretmek için her kodlayıcı çıktısıyla karşılaştırılır. Bahdanau tarzı (toplamsal) dikkat, bu puanı küçük bir ileri beslemeli ağ ile öğrenirken, Luong tarzı (çarpımsal) dikkat, sorgu ve anahtarlar arasında hesaplanması daha ucuz olan bir nokta çarpımı kullanır.

Formül
e_{ij} = \text{score}(s_{i}, h_{j})
2

Ham puanlar, girdinin konumları boyunca pozitif olan ve bire toplamı veren bir dikkat ağırlıkları kümesi haline gelmeleri için bir softmax'tan geçirilir. Bu ağırlıklar, her kodlayıcı çıktısının mevcut adım için ne kadar odaklanma alması gerektiğini ifade eder ve girdi ile çıktı arasında yorumlanabilir bir hizalama olarak incelenebilir.

Formül
\alpha_{ij} = \dfrac{\exp(e_{ij})}{\sum_{k} \exp(e_{ik})}
3

Kodlayıcı çıktıları, dikkat ağırlıkları kullanılarak ağırlıklı toplamları olarak tek bir bağlam vektöründe birleştirilir. Bu dinamik bağlam — her adımda farklı — kod çözücüye beslenir, böylece girdinin en ilgili bölümlerine dikkat ederek bir sonraki öğeyi üretebilir.

Formül
c_{i} = \sum_{j} \alpha_{ij}\, h_{j}

Sık yapılan hatalar

  • Dikkat mekanizmasını anlamlı ağırlıklar öğrenmek için çok küçük bir veri kümesine uygulamak, aşırı uyumu davet eder.
  • Dikkat ağırlıklarını kesin bir açıklama olarak değil, yararlı ancak kısmi bir hizalama ipucu olarak ele almak.
  • Bir dizi-dizi temeli atlamak ve dikkat mekanizmasının kendi başına çalışmasını beklemek.
  • Çok kısa girdilerin, düz bir kodlayıcı-kod çözücüye göre dikkatten çok az fayda sağladığını göz ardı etmek.

Sık sorulan sorular

Dikkat hangi problemi çözüyor?

Düz kodlayıcı-kod çözücü modellerin sabit vektör darboğazını kaldırır. Tüm girdiyi tek bir bağlam vektörüne sıkıştırmak yerine, kod çözücü her adımda tüm kodlayıcı durumlarının taze bir ağırlıklı karışımını oluşturur ve en çok önem taşıyan konumlara odaklanır.

Bahdanau ve Luong dikkati arasındaki fark nedir?

Bahdanau (toplamsal) dikkat, alaka puanını küçük bir ileri beslemeli ağ ile öğrenirken, Luong (çarpımsal) dikkat, sorgu ve anahtarlar arasında hesaplama açısından daha ucuz olan bir nokta çarpımı kullanır.

Ne kadar veriye ihtiyacım var?

En az birkaç yüz örnek planlayın. Yaklaşık 500 veya daha az örnekle mekanizma anlamlı ağırlıklar öğrenmekte zorlanır ve aşırı uyum gösterir, yaklaşık 100'ün altında dikkat tabanlı eğitim buna değmez — Rastgele Orman veya XGBoost gibi daha basit modeller daha iyidir.

Dikkat ağırlıklarını bir açıklama olarak okuyabilir miyim?

Ağırlıklar, modelin nereye odaklandığını gösteren yorumlanabilir bir hizalama oluşturur, bu gerçekten faydalıdır. Bunu, modelin akıl yürütmesinin tam veya kesin bir açıklaması olarak değil, yardımcı bir ipucu olarak ele alın.

İlgili yöntemler

Kaynaklar

  1. Bahdanau, D., Cho, K. & Bengio, Y. (2015). Neural Machine Translation by Jointly Learning to Align and Translate. ICLR.

    Yayın kaynağını aç
    Kopyalandı.
  2. Luong, M.T., Pham, H. & Manning, C.D. (2015). Effective Approaches to Attention-based Neural Machine Translation. EMNLP, 1412–1421.

    DOI kaynağını aç
    Kopyalandı.