İçeriğe atla
Arama sonuçlarına dön

Gated Recurrent Unit (GRU)

Ortaya koyan
Cho, K., van Merrienboer, B., Gulcehre, C., Bahdanau, D., Bougares, F., Schwenk, H., & Bengio, Y.
Yıl
2014
Tür
Recurrent neural network with gating
Aile
Deep learning / NLP / CV

Bu metin makine çevirisidir ve henüz incelenmedi. Asıl metni İngilizce oku

Yazı boyutu

Ne işe yarar?

Cho ve diğ. tarafından 2014'te tanıtılan Gated Recurrent Unit (GRU), zaman adımları boyunca bilgiyi seçici olarak tutmak veya atmak için iki öğrenilmiş kapı — bir güncelleme kapısı ve bir sıfırlama kapısı — kullanan, basitleştirilmiş bir tekrarlayan sinir ağıdır ve LSTM'den daha az parametreyle etkili dizi modellemesi sağlar.

Yöntemin mantığı

Bir diziyi işlemek, uzun bir belgeyi okurken neyi hatırlayacağınıza ve neyi unutacağınıza karar vermek gibidir. GRU'nun güncelleme kapısı, önceki gizli durumun ne kadarının ileriye taşınacağını veya yeni bilgilerle ne kadarının değiştirileceğini kontrol ederken, sıfırlama kapısı önceki bağlamın ne kadarının yeni aday gizli durumu etkileyeceğini belirler. Bu kapılama mekanizması, ağın basit RNN'leri rahatsız eden kaybolan gradyan sorunları olmadan uzun menzilli bağımlılıkları yakalamasına olanak tanır ve bunu dört kapılı LSTM'den daha basit, daha hızlı bir mimariyle yapar.

Tarih

GRU, 2014 yılında Cho ve ark. tarafından istatistiksel makine çevirisi için RNN kodlayıcı-kod çözücü çerçevesinin bir parçası olarak tanıtıldı. Chung ve ark. (2014), GRU ve LSTM'nin polifonik müzik modellemesi ve konuşma sinyali modellemesinde benzer performans gösterdiğini, GRU'nun ise daha hızlı eğitildiğini gösteren ampirik bir değerlendirme sundu. Hızla standart bir dizi modelleme tabanı haline geldi ve NLP ve zaman serisi araştırmalarında yaygın olarak kullanılmaya devam ediyor.

Ne zaman kullanılır?

GRU'yu doğal dil, zaman serileri, konuşma veya olay günlükleri gibi sıralı verilerle çalışırken — özellikle hesaplama kaynakları sınırlıysa veya eğitim hızı önemliyse — kullanın, çünkü GRU, LSTM'den daha hızlı eğitilir ve genellikle karşılaştırılabilir doğrulukla daha az parametre kullanır. Metin sınıflandırma, duygu analizi, adlandırılmış varlık tanıma, dil modellemesi ve tek değişkenli veya çok değişkenli zaman serisi tahmini gibi görevler için uygundur. LSTM'yi, LSTM'nin ek bellek hücresinin doğruluk avantajı sağlayabileceği çok uzun dizileriniz varsa veya ek hesaplama gücünüz varsa tercih edin. Sıralı olmayan, tablo verileri için, beslemeli ağların veya ağaç tabanlı modellerin daha uygun olduğu durumlarda GRU'dan kaçının.

Sınırlar ve dikkat edilmesi gerekenler

  • LSTM'nin ayrı bellek hücresinin belirgin bir avantaj sağladığı çok uzun dizilerde LSTM'den daha az performans gösterebilir.
  • Uzun bağlamlı NLP görevleri için Transformer tabanlı modellerden daha yavaş ve daha fazla bellek gerektirir.
  • Doğal olarak sıralı hesaplama, Transformer'ların aksine eğitim sırasında paralelliği sınırlar.
  • Gizli boyut, bırakma ve öğrenme oranı gibi hiperparametrelere duyarlıdır; dikkatli ayar gerektirir.

Kaynak metnin koşulları, bağımsız bilimsel inceleme veya analiz motoru doğrulaması yerine geçmez.

Güçlü yönleri

  • LSTM'den daha az parametre (dört yerine iki kapı), daha hızlı eğitim ve daha düşük bellek kullanımı sağlar.
  • Basit RNN'lerin kaybolan gradyan sorununu hafifleterek uzun menzilli zamansal bağımlılıkların öğrenilmesini sağlar.
  • Daha basit mimarisine rağmen birçok NLP ve zaman serisi karşılaştırmasında LSTM ile rekabetçi doğruluk.
  • Ayarlanması daha kolay: LSTM'den daha az hiperparametre (gizli boyut, katman sayısı, bırakma).
  • Daha zengin bağlamsal temsiller için çift yönlü ve yığılmış varyantlar uygulaması kolaydır.

Uygulama alanları

  • Kısa-orta uzunluktaki belgelerde metin sınıflandırma ve duygu analizi.
  • NLP işlem hatlarında adlandırılmış varlık tanıma ve dizi etiketleme.
  • Sensör verileri, hisse senedi fiyatları ve enerji tüketimi için zaman serisi tahmini.
  • Konuşma tanıma ve ses özelliği modellemesi.
  • Makine çevirisi kodlayıcı-kod çözücü mimarileri.
  • Sıralı olay günlükleri ve izleme akışlarında anomali tespiti.

Nasıl çalışır?

Nasıl çalışır?

1

Her zaman adımında güncelleme kapısı, mevcut girdi ve önceki gizli durumu kullanarak 0 ile 1 arasında bir değer hesaplar. 1'e yakın bir değer, önceki gizli durumun çoğunun korunduğu anlamına gelir; 0'a yakın bir değer ise çoğunlukla değiştirildiği anlamına gelir. Bu tek kapı, LSTM'nin hem girdi hem de unutma kapılarının yerini alır.

Formül
z_t = \sigma(W_z x_t + U_z h_{t-1} + b_z)
2

Sıfırlama kapısı benzer şekilde, aday yeni durum hesaplanırken önceki gizli durumun ne kadarının görünür olacağını modüle eden 0 ile 1 arasında bir değer üretir. 0'a yakın bir değer, ağın önceki bağlamı etkili bir şekilde göz ardı etmesine izin vererek sıfırlanmasına ve mevcut girdiye odaklanmasına olanak tanır.

Formül
r_t = \sigma(W_r x_t + U_r h_{t-1} + b_r)
3

Mevcut girdi ve sıfırlama kapılı önceki gizli durum kullanılarak bir tanh aktivasyonu aracılığıyla bir aday gizli durum hesaplanır. Bu, güncelleme kapısı önceki durumu tam olarak değiştirmeye izin verseydi hücrenin depolayacağı yeni bilgiyi temsil eder.

Formül
\tilde{h}_t = \tanh(W x_t + U(r_t \odot h_{t-1}) + b)
4

Nihai gizli durum, önceki gizli durum ile aday arasındaki doğrusal bir enterpolasyondur: güncelleme kapısı ağırlığı her birinden ne kadar tutulacağını belirler. Bu dışbükey kombinasyon, gradyanları zaman içinde temiz bir şekilde yayarak ağın uzun menzilli bağımlılıkları öğrenmesine yardımcı olur.

Formül
h_t = (1 - z_t) \odot h_{t-1} + z_t \odot \tilde{h}_t
5

Nihai (veya her) zaman adımındaki gizli durum, modelin tahminlerini üretmek için doğrusal bir katman ve softmax (sınıflandırma için) veya doğrusal bir aktivasyon (regresyon için) üzerinden geçirilir. Dizi-dizi görevleri için tüm zaman adımlarındaki gizli durumlar kullanılır.

Formül
\hat{y}_t = \text{softmax}(W_o h_t + b_o)

Sık yapılan hatalar

  • Sıralı endüktif önyargının basit bir MLP'ye göre hiçbir değer katmadığı sabit boyutlu tablo verilerinde GRU kullanmak.
  • Değişken uzunluklu dizileri doldurmayı ve maskelemeyi ihmal etmek, modelin dolgu artefaktlarını öğrenmesine neden olur.
  • Geri yayılım sırasında patlayan gradyanları riske atarak gradyan kırpmasını uygulamamak.
  • Göreve bağlı olarak F1, BLEU veya MAE gibi dizi düzeyindeki metrikler olmadan yalnızca doğruluğu raporlamak.
  • Uzun belgeli NLP için BERT, RoBERTa gibi önceden eğitilmiş bir Transformer'ın çok daha güçlü olacağı durumlarda GRU'yu seçmek.

Sık sorulan sorular

Ne zaman GRU'yu LSTM yerine seçmeliyim?

GRU, eğitim hızının ve parametre verimliliğinin önemli olduğu ve dizilerinizin aşırı uzun olmadığı durumlarda iyi bir varsayılan seçenektir. LSTM, özel bellek hücresi sayesinde çok uzun dizilerde bir avantaja sahip olabilir, ancak ampirik sonuçlar genellikle göreve özgüdür, bu nedenle her ikisini de deneyin ve bir doğrulama setinde karşılaştırın.

GRU değişken uzunluklu dizileri işleyebilir mi?

Evet. Dizileri her yığın içinde tekdüze bir uzunluğa doldurun, ardından GRU'ya dolgu jetonlarını yok saymasını söylemek için bir maskeleme katmanı veya PyTorch'taki paketlenmiş dizi mekanizmasını kullanın. Maskeleme olmadan model, dolgu verilerinden yanlış desenler öğrenir.

Çift yönlü bir GRU kullanmalı mıyım?

Çıkarım zamanında tam dizinin mevcut olduğu metin sınıflandırma veya NER gibi görevler için, çift yönlü bir GRU (BiGRU), her diziyi hem ileri hem de geri işleyerek her jetona hem geçmiş hem de gelecek bağlamına erişim sağlar. Gerçek zamanlı veya nedensel tahminler için yalnızca ileri yön geçerlidir.

GRU hala Transformer'larla rekabetçi mi?

Küçük-orta ölçekli veri kümeleri ve daha kısa diziler için GRU rekabetçi kalır ve önceden eğitime tabi tutulmamış bir Transformer'dan çok daha hızlı eğitilir. Büyük ölçekli NLP görevleri için, önceden eğitilmiş Transformer'lar (BERT, RoBERTa) genellikle GRU'dan önemli ölçüde daha iyi performans gösterir.

Ayarlanacak temel hiperparametreler nelerdir?

En önemlileri gizli boyut (katman başına birim sayısı), yığılmış katman sayısı (1-3 yaygındır), katmanlar arasındaki bırakma oranı ve öğrenme oranıdır. Gradyan kırpma (yaklaşık 1-5 maksimum norm), eğitimi dengelemek için şiddetle tavsiye edilir.

İlgili yöntemler

Kaynaklar

  1. Cho, K., van Merrienboer, B., Gulcehre, C., Bahdanau, D., Bougares, F., Schwenk, H., & Bengio, Y. (2014). Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation. In Proceedings of EMNLP 2014, pp. 1724–1734.

    Yayın kaynağını aç
    Kopyalandı.
  2. Chung, J., Gulcehre, C., Cho, K., & Bengio, Y. (2014). Empirical Evaluation of Gated Recurrent Neural Networks on Sequence Modeling. NIPS 2014 Deep Learning Workshop.

    Yayın kaynağını aç
    Kopyalandı.