İçeriğe atla
Arama sonuçlarına dön

Kapılı Tekrarlayan Birim (GRU)

Ortaya koyan
Cho, K. et al.
Yıl
2014
Tür
Gated recurrent neural network unit

Bu metin makine çevirisidir ve henüz incelenmedi. Asıl metni İngilizce oku

Yazı boyutu

Ne işe yarar?

Kapılı Tekrarlayan Birim (GRU), Cho ve arkadaşları tarafından 2014 yılında tanıtılan, güncelleyici ve sıfırlayıcı kapılar kullanarak sıralı verilerdeki uzun menzilli bağımlılıkları yakalayan, LSTM'ye benzer performans gösteren ancak daha az parametreye sahip kapılı bir tekrarlayan sinir ağı hücresidir.

Yöntemin mantığı

Sıradan bir tekrarlayan ağ, sinyal adım adım aktarılırken zayıfladığı veya patladığı için uzun dizilerdeki bilgileri hatırlamakta zorlanır. GRU, her zaman adımında geçmişin ne kadarını koruyacağını ve ne kadar yeni bilgiyi özümseyeceğini öğrenen küçük kapılar ekler. LSTM'nin üç kapısı yerine sadece iki kapısı ile, daha hafif ve daha hızlı eğitilebilirken uzun aralıklar boyunca faydalı belleği taşır.

Tarih

GRU, Kyunghyun Cho ve arkadaşları tarafından 2014 yılında istatistiksel makine çevirisi için bir RNN kodlayıcı-kod çözücü çerçevesinde tanıtıldı. Aynı yılın ilerleyen zamanlarında Chung, Gulcehre, Cho ve Bengio, kapılı tekrarlayan birimleri dizi modelleme görevlerinde LSTM'ye karşı ampirik olarak değerlendirdi ve daha basit iki kapılı GRU'nun daha az parametre kullanarak LSTM performansına ulaşabildiğini gösterdi, bu da onu dizi modelleme için popüler, daha hafif bir alternatif haline getirdi.

Ne zaman kullanılır?

Uzun menzilli bağımlılıkların önemli olduğu ve LSTM'den daha hızlı eğitimin arzu edildiği, en az yaklaşık 100 gözlem içeren sıralı verilerde (zaman serileri veya sürekli değerlerin ya da metnin boylamsal dizileri) tahmin, öngörü ve sınıflandırma için iyi bir uyum sağlar. Normal dağılımlı veri varsayımı yapmaz. Yaklaşık 500'den az dizi ile aşırı uyum riski yüksektir ve Random Forest gibi daha basit bir model daha güvenlidir; yaklaşık 100'ün altında ise tekrarlayan eğitim anlamlı değildir ve XGBoost tercih edilir.

Sınırlar ve dikkat edilmesi gerekenler

  • Küçük veri kümelerinde (yaklaşık 500'den az dizi) yüksek aşırı uyum riski.
  • Sıralı veri gerektirir; yaklaşık 100 gözlemin altında anlamlı değildir.
  • Tekrarlayan bir kara kutu olarak, yorumlanacak açık katsayılar sunmaz.
  • Tüm tekrarlayan modeller gibi, dizi uzunluğuna ve eğitim kurulumuna duyarlı olabilir.

Kaynak metnin koşulları, bağımsız bilimsel inceleme veya analiz motoru doğrulaması yerine geçmez.

Güçlü yönleri

  • Öğrenilmiş güncelleyici ve sıfırlayıcı kapılar aracılığıyla sıralı verilerdeki uzun menzilli bağımlılıkları yakalar.
  • Daha az parametreyle LSTM'ye benzer doğruluk, bu nedenle daha hızlı eğitilir.
  • Varsayım açısından hafiftir: normal dağılımlı veri gerektirmez.
  • Zaman serileri ve sürekli değerlerin veya metnin boylamsal dizileri için iyi uygundur.

Uygulama alanları

  • Zaman serileri ve boylamsal diziler üzerinde öngörü ve tahmin.
  • Sürekli değerli veya metin girdileri üzerinde dizi sınıflandırması.
  • Daha düşük maliyetle LSTM düzeyinde kapasiteye ihtiyaç duyulan uzun menzilli bağımlılıkların modellenmesi.
  • Daha ağır dizi modellerine geçmeden önce daha hızlı bir tekrarlayan temel model.

Nasıl çalışır?

Nasıl çalışır?

1

Her zaman adımında birim, mevcut girdiden ve önceki gizli durumdan iki kapı hesaplar. Güncelleyici kapı, önceki durumun ne kadarının ileriye taşınacağına ve ne kadarının yenileneceğine karar verirken, sıfırlayıcı kapı yeni bir aday durum oluştururken geçmişin ne kadarının göz ardı edileceğine karar verir. Her ikisi de bir sigmoid fonksiyonu ile sıfır ile bir arasında değerlere sıkıştırılır.

Formül
z_t = \sigma(W_z x_t + U_z h_{t-1}), \quad r_t = \sigma(W_r x_t + U_r h_{t-1})
2

Mevcut girdi ile sıfırlayıcı kapıdan filtrelenmiş önceki durumun birleşimiyle aday bir gizli durum önerilir. Sıfırlayıcı kapı sıfıra yakın olduğunda, birim geçmişi etkili bir şekilde unutur ve yeni girdiye tepki verir; bire yakın olduğunda ise önceki bağlamı yeni adaya karıştırır.

Formül
\tilde{h}_t = \tanh(W x_t + U(r_t \odot h_{t-1}))
3

Yeni gizli durum, güncelleyici kapı tarafından kontrol edilen, önceki durum ile aday arasındaki kapılı bir interpolasyondur. Bu tek harmanlama adımı, birimin belleği birçok zaman adımı boyunca korumasına veya hızlı bir şekilde güncellemesine olanak tanır; bu da GRU'ların ayrı bir bellek hücresi olmadan uzun vadeli bağımlılıkları yakalamasını sağlar.

Formül
h_t = (1 - z_t) \odot h_{t-1} + z_t \odot \tilde{h}_t

Sık yapılan hatalar

  • GRU'yu, eğitim verilerini ezberlediği küçük bir sıralı veri kümesine uygulamak.
  • Girdilerin sıralanmamış tablo satırları değil, gerçek diziler oluşturması gerektiğini unutmak.
  • Uygun bir eğitim/doğrulama ayrımını atlamak ve örnek içi dizi uyumuna güvenmek.
  • Küçük verilerde daha basit bir modelin daha iyi genelleme yapacağı durumlarda tekrarlayan bir ağa başvurmak.

Sık sorulan sorular

Bir GRU, bir LSTM'den nasıl farklıdır?

Bir GRU iki kapı (güncelleyici ve sıfırlayıcı) ve tek bir gizli durum kullanırken, bir LSTM üç kapı ve ayrı bir bellek hücresi kullanır. Bu nedenle GRU, birçok dizi görevinde benzer performansa ulaşırken daha az parametreye sahiptir ve daha hızlı eğitilir.

Bir GRU ne kadar veriye ihtiyaç duyar?

En az yaklaşık 100 gözlem içeren sıralı verilere ihtiyaç duyar. Yaklaşık 500 dizinin altında aşırı uyum riski yüksektir, bu nedenle Random Forest gibi daha basit bir model daha güvenlidir; yaklaşık 100'ün altında tekrarlayan bir ağ anlamlı değildir ve XGBoost tercih edilir.

GRU normal dağılımlı veri varsayımı yapar mı?

Hayır. Diğer tekrarlayan sinir ağları gibi, normallik varsayımı yapmaz; gerektirdiği şey, zaman serisi veya boylamsal dizi gibi gerçekten sıralı girdidir.

Daha ağır bir modele göre bir GRU'yu ne zaman tercih etmeliyim?

Dizilerdeki uzun menzilli bağımlılıkları yakalamanız gerektiğinde ancak LSTM'den daha hızlı, daha hafif eğitim istediğinizde ve aşırı uyumu önlemek için yeterli sıralı veriye sahip olduğunuzda bir GRU seçin.

İlgili yöntemler

Kaynaklar

  1. Cho, K. et al. (2014). Learning Phrase Representations using RNN Encoder–Decoder for Statistical Machine Translation. EMNLP.

    Yayın kaynağını aç
    Kopyalandı.
  2. Chung, J., Gulcehre, C., Cho, K. & Bengio, Y. (2014). Empirical Evaluation of Gated Recurrent Neural Networks on Sequence Modeling. NIPS 2014 Deep Learning Workshop. arXiv:1412.3555

    Yayın kaynağını aç
    Kopyalandı.