İçeriğe atla
Arama sonuçlarına dön

Çift Yönlü RNN

Ortaya koyan
Schuster, M. & Paliwal, K.K.
Yıl
1997
Tür
Recurrent neural network (sequence model)

Bu metin makine çevirisidir ve henüz incelenmedi. Asıl metni İngilizce oku

Yazı boyutu

Ne işe yarar?

Schuster ve Paliwal tarafından 1997'de tanıtılan Çift Yönlü RNN, her pozisyonun tam çevresel bağlama erişebilmesi için bir diziyi hem ileri hem de geri yönde işler.

LSTM veya GRU hücreleri (BiLSTM/BiGRU) ile adlandırılmış varlık tanıma, dizi etiketleme ve konuşma tanıma için standart yaklaşımdır.

Yöntemin mantığı

Sıradan bir RNN, bir diziyi soldan sağa okur, bu nedenle herhangi bir noktada yalnızca daha önce ne olduğunu bilir. Ancak bir kelimenin veya sinyalin anlamı genellikle ondan sonra ne geldiğine de bağlıdır. Çift yönlü bir RNN, bunu iki geçiş çalıştırarak - biri ileri, biri geri - ve bunları birleştirerek çözer, böylece her pozisyon hem geçmiş hem de gelecek bağlamından haberdar olur.

Tarih

Çift Yönlü tekrarlayan sinir ağı, her pozisyona hem geçmiş hem de gelecek bağlama erişim sağlamak için Schuster ve Paliwal tarafından 1997'de tanıtıldı. Graves ve Schmidhuber, 2005'te çerçeve bazlı fonem sınıflandırması için LSTM hücreleriyle fikri genişletti ve çift yönlü LSTM'yi konuşma ve dizi etiketleme görevleri için bir iş atı olarak kurdu. BiLSTM ve BiGRU varyantları, Transformer mimarilerinin yükselişinden önce doğal dil işlemede standart hale geldi.

Ne zaman kullanılır?

Dizisel veya boylamsal veriler üzerinde dizi etiketleme, metin sınıflandırma veya tahmin için kullanın - örneğin, hem önceki hem de sonraki bağlamın önemli olduğu ve tüm dizinin bir kerede mevcut olduğu adlandırılmış varlık tanıma, sözcük türü etiketleme veya konuşma tanıma gibi - . Metin ve sürekli diziler üzerinde çalışır ve normal dağılmış verileri varsaymaz, ancak makul miktarda veriye ihtiyaç duyar (istikrarlı eğitim için en az yaklaşık 100 dizi ve rahatlıkla daha fazlası).

Sınırlar ve dikkat edilmesi gerekenler

  • Tüm diziyi önceden gerektirir, bu nedenle akış veya gerçek zamanlı üretim için uygun değildir, çünkü gelecek girdi bilinmez.
  • Küçük veri kümelerinde (yaklaşık 500 dizinin altında) aşırı uyum sağlar ve bağlam güvenilir bir şekilde çıkarılamaz.
  • Çok küçük örneklerde (yaklaşık 100'ün altında) bir BiLSTM/BiGRU eğitmek anlamlı değildir.
  • İki geçiş, tek yönlü bir RNN'nin hesaplama ve bellek maliyetini kabaca ikiye katlar.

Kaynak metnin koşulları, bağımsız bilimsel inceleme veya analiz motoru doğrulaması yerine geçmez.

Güçlü yönleri

  • Her pozisyon hem geçmiş hem de gelecek bağlamı görür, bu da adlandırılmış varlık tanıma gibi dizi etiketleme için standart, güçlü bir seçimdir.
  • Varsayım-hafif: normalite gereksinimi yok, doğrudan metin ve sürekli diziler üzerinde çalışır.
  • Uzun menzilli bağımlılıkları ele almak için LSTM veya GRU hücreleriyle doğal olarak eşleşir.
  • Konuşma tanıma ve diğer çerçeve bazlı sınıflandırma görevleri için iyi kurulmuştur.

Uygulama alanları

  • Adlandırılmış varlık tanıma ve dizi etiketleme.
  • Sözcük türü etiketleme ve diğer belirteç düzeyinde metin ek açıklamaları.
  • Konuşma ve fonem tanıma.
  • Dizisel veya boylamsal veriler üzerinde metin sınıflandırma ve tahmin.

Nasıl çalışır?

Nasıl çalışır?

1

Bir tekrarlayan katman, diziyi baştan sona okur, o ana kadar görülen her şeyi özetleyen bir gizli durum oluşturur. Bu, standart bir RNN, LSTM veya GRU'nun gerçekleştirdiği soldan sağa geçişle aynıdır.

Formül
\overrightarrow{h}_t = f(x_t, \overrightarrow{h}_{t-1})
2

İkinci bir tekrarlayan katman, aynı diziyi tersine, sondan başa doğru okur ve her pozisyonda yaklaşan bağlamı özetleyen bir gizli durum üretir. Bu, modele her bir belirteçten sonra ne geldiği bilgisini verir.

Formül
\overleftarrow{h}_t = f(x_t, \overleftarrow{h}_{t+1})
3

Her pozisyonda, ileri ve geri gizli durumlar, tam çift yönlü bağlamı yakalayan tek bir temsilde birleştirilir. Bu birleştirilmiş vektör daha sonra etiketleme, sınıflandırma veya tahmin için çıktı katmanına iletilir.

Formül
h_t = [\overrightarrow{h}_t ; \overleftarrow{h}_t]

Sık yapılan hatalar

  • Dizinin gelecek kısmının henüz mevcut olmadığı gerçek zamanlı veya üretken görevlere uygulamak.
  • Çok az veride eğitmek ve aşırı uyuma rağmen sonuca güvenmek.
  • Artırılmış gizli temsilin hesaplama ve bellek maliyetini artırdığını göz ardı etmek.
  • Küçük örneklerde daha güvenli olacak bir ağaç topluluğu varken ağır bir çift yönlü modele geri dönmek.

Sık sorulan sorular

Çift yönlü bir RNN normal bir RNN'den nasıl farklıdır?

Normal bir RNN, bir diziyi tek yönde okur, bu nedenle her pozisyon yalnızca geçmişi bilir. Çift yönlü bir RNN, ters yönde ikinci bir geçiş ekler ve her ikisini birleştirir, böylece her pozisyon gelecek bağlamından da haberdar olur.

Ne zaman kullanamam?

Tüm diziyi bir kerede gerektirir, bu nedenle gelecek belirteçlerin henüz bilinmediği gerçek zamanlı veya üretken ayarlar için uygun değildir. Bu durumlarda tek yönlü bir model gereklidir.

Ne kadar veriye ihtiyacım var?

En az yaklaşık 100 dizi taban olarak, ancak eğitim yalnızca rahatlıkla daha fazlasıyla güvenilirdir - yaklaşık 500'ün altında model aşırı uyuma eğilimindedir ve bağlam güvenilir bir şekilde çıkarılamaz. Çok küçük örneklerde rastgele orman veya XGBoost gibi bir ağaç topluluğu daha güvenlidir.

BiLSTM ve BiGRU arasındaki fark nedir?

Her ikisi de çift yönlü RNN'lerdir; tekrarlayan hücrelerinde farklılık gösterirler. BiLSTM, LSTM hücrelerini kullanır ve BiGRU, GRU hücrelerini kullanır, her ikisi de uzun menzilli bağımlılıkları düz RNN'den daha iyi yakalamak için tasarlanmıştır.

İlgili yöntemler

Kaynaklar

  1. Schuster, M. & Paliwal, K.K. (1997). Bidirectional Recurrent Neural Networks. IEEE Transactions on Signal Processing, 45(11), 2673–2681.

    DOI kaynağını aç
    Kopyalandı.
  2. Graves, A. & Schmidhuber, J. (2005). Framewise Phoneme Classification with Bidirectional LSTM Networks. IJCNN, 2047–2052.

    DOI kaynağını aç
    Kopyalandı.