İçeriğe atla
Arama sonuçlarına dön

Diziden Diziye Model

Ortaya koyan
Sutskever, I.; Cho, K.
Yıl
2014
Tür
Encoder-decoder neural network (deep learning)

Bu metin makine çevirisidir ve henüz incelenmedi. Asıl metni İngilizce oku

Yazı boyutu

Ne işe yarar?

Sutskever, Vinyals ve Le ile Cho ve arkadaşları tarafından 2014 yılında tanıtılan dizi-dizi (Seq2Seq) modeli, değişken uzunluklu bir girdi dizisini değişken uzunluklu bir çıktı dizisine eşleyen bir kodlayıcı-kod çözücü sinir ağıdır.

Makine çevirisi, metin özetleme, diyalog sistemleri ve kod üretiminin temelini oluşturur.

Yöntemin mantığı

Birçok dil görevi, uzunluğu farklı ve önceden bilinmeyen bir diziyi başka bir diziye dönüştürür — İngilizce bir cümle Fransızca'da farklı uzunlukta bir cümleye dönüşür. Tek bir sınıflandırıcı bunu yapamaz. Seq2Seq işi ikiye böler: bir ağ tüm girdiyi okur ve anlamını bir bağlam temsiline sıkıştırır, ikinci bir ağ ise bu temsili adım adım çıktıya açar, her yeni belirteç daha önce ürettiklerine koşullandırılır.

Tarih

Kodlayıcı-kod çözücü çerçevesi, 2014 yılında iki yakın eş zamanlı makaleden ortaya çıktı: Sutskever, Vinyals ve Le'nin 'Sequence to Sequence Learning with Neural Networks' ve Cho ve arkadaşlarının istatistiksel makine çevirisi için RNN kodlayıcı-kod çözücüsü. Orijinal modeller kaynağı tek bir sabit bağlam vektörüne sıkıştırıyordu; daha sonra dikkat eklenmesi bu darboğazı kaldırdı ve çeviri kalitesini önemli ölçüde iyileştirerek günümüzde dizi modellemesine hakim olan Transformer mimarisinin yolunu açtı.

Ne zaman kullanılır?

Göreviniz değişken uzunluklu bir diziyi başka bir değişkene dönüştürmek olduğunda — makine çevirisi, özetleme, diyalog veya kod üretimi — ve eşlenmiş kaynak-hedef örnekleriniz olduğunda Seq2Seq kullanın, ideal olarak en az yaklaşık 500 tane. Metin ve zaman serisi veya kesitsel formdaki sürekli diziler için uygundur ve normal dağılımlı veriler gerektirmez. Bir GPU önerilir. 500 çiftten çok daha azıyla kodlayıcı-kod çözücü yapısı iyi öğrenilemez ve Rastgele Orman veya XGBoost gibi daha basit modeller daha güvenlidir.

Sınırlar ve dikkat edilmesi gerekenler

  • İyi eğitmek için büyük bir eşlenmiş kaynak-hedef örnekleri kümesi gerektirir (yaklaşık 500 veya daha fazla).
  • Bir GPU önerilir; eğitim hesaplama açısından yoğundur.
  • Uzun bir girdiyi tek bir sabit bağlama sıkıştırmak, dikkat olmadan bilgi kaybına neden olabilir.
  • Küçük veri kümelerinde kodlayıcı-kod çözücü yapısı öğrenilemez ve model aşırı uyum sağlar.

Kaynak metnin koşulları, bağımsız bilimsel inceleme veya analiz motoru doğrulaması yerine geçmez.

Güçlü yönleri

  • Sabit çıktı sınıflandırıcılarının aksine, değişken uzunluklu girdileri ve çıktıları işler.
  • Çeviri, özetleme, diyalog ve kod üretimi için tek, genel bir çerçeve.
  • El yapımı hizalama olmadan, eşlenmiş kaynak-hedef örneklerinden uçtan uca eğitilir.
  • Dikkat mekanizması eklendiğinde performans önemli ölçüde iyileşir.
  • Varsayım-hafif: normallik gereksinimi yok; metin ve sürekli dizi verileri üzerinde çalışır.

Uygulama alanları

  • Dil çiftleri arasında makine çevirisi.
  • Soyut metin özetleme.
  • Diyalog ve konuşma yanıtı üretimi.
  • Doğal dil açıklamalarından kod üretimi.

Nasıl çalışır?

Nasıl çalışır?

1

Bir kodlayıcı ağı, girdi dizisini belirteç belirteç okur ve tüm kaynağı anlamını özetleyen bir bağlam temsiline sıkıştırır. Kodlayıcı, herhangi bir çıktı üretilmeden önce tüm girdiyi işlediği için, model herhangi bir uzunluktaki girdileri işleyebilir.

Formül
c = \text{Encoder}(x_1, \dots, x_T)
2

Bir kod çözücü ağı, çıktı dizisini adım adım üretir. Her adımda, kodlayıcının bağlamına ve daha önce yaydığı belirteçlere koşullanır, bir dur belirteci diziyi sonlandırana kadar bir sonraki belirteç için bir olasılık dağılımı tahmin eder. Bu, çıktı uzunluğunun girdi uzunluğundan farklı olmasına izin verir.

Formül
p(y_t \mid y_{<t}, c)
3

Kodlayıcı ve kod çözücü, kaynak verildiğinde doğru hedef dizinin olasılığını en üst düzeye çıkarmak için birlikte eğitilir — denetim, eşlenmiş kaynak-hedef örneklerinden gelir. Kod çözücünün tek bir sabit bağlama yerine tüm kodlayıcı durumlarına geri bakmasına izin veren bir dikkat mekanizması eklemek performansı artırır ve eğitim için bir GPU önerilir.

Formül
\max_{\theta} \sum \log p(y \mid x; \theta)

Sık yapılan hatalar

  • Modelin aşırı uyum sağladığı ve eşlemeyi öğrenemediği çok az kaynak-hedef çifti üzerinde eğitim.
  • Uzun dizilerde dikkat mekanizmasını atlamak ve uzak bağlamı kaybetmek.
  • Yakınsama öncesinde vazgeçerek GPU kaynakları olmadan eğitim yapmaya çalışmak.
  • Daha basit bir sınıflandırıcı veya regresyon modelinin daha iyi işleyeceği sabit çıktı görevleri için Seq2Seq kullanmak.

Sık sorulan sorular

Seq2Seq ne kadar veriye ihtiyaç duyar?

Eşlenmiş kaynak-hedef örnekleri gerektirir — ideal olarak en az yaklaşık 500. Yaklaşık 200 çiftin altında model aşırı uyum sağlar ve dizi dönüşümünü öğrenemez; çok az veride Rastgele Orman veya XGBoost gibi daha basit bir model daha güvenlidir.

GPU'ya ihtiyacım var mı?

Bir GPU önerilir. Çok sayıda dizi çifti üzerinde bir kodlayıcı-kod çözücü eğitmek hesaplama açısından yoğundur ve yalnızca CPU ile eğitim genellikle pratik olmayan şekilde yavaştır.

Dikkat eklemek ne işe yarar?

Dikkat, kod çözücünün tek bir sabit bağlam vektörüne güvenmek yerine her adımda tüm kodlayıcı durumlarına geri bakmasına izin verir. Bu, uzun dizilerin bilgi darboğazını kaldırır ve çıktı kalitesini önemli ölçüde iyileştirir.

Seq2Seq bir sınıflandırıcıdan nasıl farklıdır?

Bir sınıflandırıcı tek bir etiket gibi sabit bir çıktı üretir. Seq2Seq, uzunluğu üretim sırasında belirlenen değişken uzunluklu bir çıktı dizisi üretir, bu da onu çeviri, özetleme ve benzeri görevler için uygun kılar.

İlgili yöntemler

Kaynaklar

  1. Sutskever, I., Vinyals, O. & Le, Q. V. (2014). Sequence to Sequence Learning with Neural Networks. NeurIPS.

    Yayın kaynağını aç
    Kopyalandı.
  2. Cho, K., van Merriënboer, B., Gulcehre, C., Bahdanau, D., Bougares, F., Schwenk, H. & Bengio, Y. (2014). Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation. EMNLP, 1724–1734.

    DOI kaynağını aç
    Kopyalandı.