İçeriğe atla
Arama sonuçlarına dön

Tekrarlayan Sinir Ağı

Ortaya koyan
Rumelhart, D. E.; Elman, J. L.
Yıl
1986–1990
Tür
Sequential neural network
Aile
Deep learning / NLP / CV

Bu metin makine çevirisidir ve henüz incelenmedi. Asıl metni İngilizce oku

Yazı boyutu

Ne işe yarar?

Tekrarlayan Sinir Ağı (RNN), gizli bir durumu zaman adımları arasında bilgi taşıyarak sıralı verileri işlemek üzere tasarlanmış bir sinir ağı sınıfıdır.

Modern biçimiyle Rumelhart ve diğerleri (1986) tarafından tanıtılan ve Elman (1990) tarafından daha da şekillendirilen RNN'ler, dikkat tabanlı modellerin yükselişinden önce doğal dil işleme (NLP), konuşma ve zaman serisi analizinde dizi modellemesi için baskın mimari haline gelmiştir.

Yöntemin mantığı

Her girdiyi bağımsız olarak ele alan ileri beslemeli ağların aksine, bir RNN bir diziyi tek seferde bir eleman işler ve şimdiye kadar gördüklerinin bir özetini —gizli durumunu— bir sonraki adıma aktarır. Bunu bir cümleyi kelime kelime okumak gibi düşünebilirsiniz: her kelimede, önceki tüm kelimeler ışığında anlayışınızı güncellersiniz. Bu tekrarlayan bağlantı, ağın zamansal bağımlılıkları ve bağlamı yakalamasına olanak tanır, bu da onu sıranın önemli olduğu ve geçmiş bağlamın mevcut elemanın anlamını şekillendirdiği görevler için doğal olarak uygun hale getirir.

Tarih

Tekrarlayan ağların temelleri, 1986'da Rumelhart, Hinton ve Williams tarafından zaman boyunca geri yayılım algoritmasıyla atılmış ve Elman'ın 1990 tarihli makalesi, bilişsel modelleme için basit tekrarlayan ağ mimarisini popülerleştirmiştir. 1990'lar ve 2000'ler boyunca RNN'ler konuşma tanıma ve dil modellemesini güçlendirmiş, ancak pratik etkileri, Hochreiter ve Schmidhuber'in 1997'de LSTM'yi tanıtmasına kadar sönümlenen gradyan sorunu nedeniyle sınırlı kalmıştır. RNN'ler kavramsal dayanaklar ve hafif temeller olarak önemini korumaktadır.

Ne zaman kullanılır?

Verileriniz sıralı olduğunda ve sıra anlam taşıdığında (metin, konuşma, sensör akışları, finansal zaman serileri veya orta uzunlukta biyolojik diziler (birkaç yüz adıma kadar)) bir RNN kullanın. Kompakt bir tekrarlayan mimariye ihtiyacınız olduğunda veya LSTM/GRU varyantlarıyla aşağı akış entegrasyonu planlandığında uygundur. Birkaç yüz adımdan daha uzun diziler için basit bir RNN kullanmayın: sönümlenen gradyanlar, uzun menzilli bağımlılıkları öğrenmesini engeller; bu durumda LSTM veya GRU çok daha etkilidir. 2024 ve sonrası doğal dil anlama görevleri için, önceden eğitilmiş dönüştürücüler (BERT, RoBERTa) neredeyse her zaman RNN'lerden daha iyi performans gösterir. RNN'leri esas olarak daha büyük mimarilerde bir bileşen olarak veya dizi görevleri için bir temel olarak kullanın.

Sınırlar ve dikkat edilmesi gerekenler

  • Yaklaşık 50-200 adımdan daha uzun diziler için ciddi sönümlenen/patlayan gradyan sorunu; LSTM veya GRU tercih edilmelidir.
  • Sıralı hesaplama zaman adımları arasında paralelleştirilemez, bu da uzun dizilerde eğitimi evrişimli veya dönüştürücü mimarilere kıyasla yavaşlatır.
  • BERT ve RoBERTa gibi önceden eğitilmiş dönüştürücü modeller tarafından çoğu NLP kıyaslamasında önemli ölçüde geride bırakılmıştır.
  • Sınırlı bellek kapasitesi: sabit boyutlu gizli durum, uzun menzilli bağlamı sıkıştırmakta zorlanır.

Kaynak metnin koşulları, bağımsız bilimsel inceleme veya analiz motoru doğrulaması yerine geçmez.

Güçlü yönleri

  • Değişken uzunluktaki dizileri, sabit bir pencere boyutuna doldurma gerektirmeden doğal olarak işler.
  • Zaman adımları arasında parametre paylaşımı, model boyutunu girdi uzunluğuna göre yönetilebilir tutar.
  • LSTM, GRU ve birçok modern dizi modelinin kavramsal ve pratik temelini oluşturur.
  • Daha pahalı mimarilerden önce dizi sınıflandırması ve regresyonu için hafif bir temel olarak uygundur.
  • Her zaman adımında çıktı üretebilir, bu da dizi etiketleme ve çeviri gibi çoktan-çoğa görevleri mümkün kılar.

Uygulama alanları

  • Kısa-orta uzunluktaki belgelerde metin sınıflandırması ve duygu analizi.
  • Karakter veya kelime düzeyinde dil modellemesi ve sonraki kelime tahmini.
  • Orta uzunluktaki sensör, finansal veya fizyolojik veriler için zaman serisi tahmini.
  • Kodlayıcı olarak kullanıldığında sözcük türü etiketleme gibi dizi etiketleme görevleri.
  • Konuşmadan metne ve ses özelliği çıkarma işlem hatları.
  • LSTM, GRU veya dönüştürücü mimarilere yükseltmeden önce temel dizi modellemesi.

Nasıl çalışır?

Nasıl çalışır?

1

Girdi, ağa tek seferde bir eleman beslenen vektör dizisidir (kelimeler, zaman adımları, kareler). Her x_t elemanı, önceki adımdan taşınan h_{t-1} gizli durumuyla eşleştirilir ve bağlamın tüm dizi boyunca birikmesine olanak tanır.

2

Her t adımında, gizli durum h_t = tanh(W_h * h_{t-1} + W_x * x_t + b) olarak güncellenir. W_h ve W_x ağırlık matrisleri tüm zaman adımları boyunca paylaşılır, böylece model, dizi uzunluğundan bağımsız olarak tekrar tekrar uygulanan tek bir geçiş kuralı öğrenir.

Formül
h_t = \tanh(W_h h_{t-1} + W_x x_t + b)
3

Bir y_t çıktısı, her zaman adımındaki gizli durumdan (çoktan-çoğa) veya yalnızca son adımdan (çoktan-bire) hesaplanır. Sınıflandırma görevleri için son gizli durum bir softmax katmanına iletilir; diziden-diziye görevler için çıktılar her adımda üretilir.

Formül
y_t = W_y h_t + b_y
4

Eğitim, zaman boyunca geri yayılım (BPTT) kullanır: gradyanlar, tüm paylaşılan ağırlıkları güncellemek için açılmış dizi boyunca geriye doğru akar. Uzun diziler için bu, gradyanların çok küçük veya çok büyük hale gelerek erken zaman adımlarını güvenilir bir şekilde güncelleyemediği sönümlenen veya patlayan gradyan sorununa yol açar.

5

Paylaşılan W_h, W_x ve W_y ağırlıkları, gradyan inişi veya adaptif bir optimize edici (Adam, RMSProp) aracılığıyla güncellenir. Patlayan gradyanları önlemek için genellikle gradyan kırpma uygulanır. Aynı ağırlıklar her adımı yönettiği için model, değişen dizi uzunluklarına genelleşir.

Sık yapılan hatalar

  • Sönümlenen gradyan sınırlamasını göz ardı ederek ve LSTM/GRU ile karşılaştırmalı test yapmadan uzun dizilere basit bir RNN uygulamak.
  • Gradyanları kırpmamak, NaN kayıplarına veya daha uzun girdilerde kararsız eğitime yol açmak.
  • Son gizli durumu, erken dizi bilgisinin gerçekten korunup korunmadığını kontrol etmeden zengin bir özet olarak ele almak.
  • Özellikle RNN'lerin küçük veri kümelerine aşırı uyum sağlama eğilimi göz önüne alındığında, uygun bir eğitim/doğrulama/test ayrımı veya çapraz doğrulama atlamak.
  • Gradyan kararsızlığını artıran girdi özelliklerini normalleştirmemek veya ölçeklendirmemek.

Sık sorulan sorular

Bir RNN, bir LSTM ve bir GRU arasındaki fark nedir?

Bir RNN en basit tekrarlayan mimaridir: her adımda güncellenen tek bir gizli duruma sahiptir. LSTM, uzun menzilli bilgiyi sönümlenen gradyanlardan koruyan girdi, unutma ve çıktı kapıları ekler. GRU, daha az parametreye sahip, LSTM'nin basitleştirilmiş bir versiyonudur. Hem LSTM hem de GRU, yaklaşık 50-100 adımdan daha fazla bellek gerektiren görevlerde basit bir RNN'den neredeyse her zaman daha iyi performans gösterir.

Bir RNN'yi eğitmek neden bazen NaN kayıpları üretir?

NaN kayıpları neredeyse her zaman patlayan gradyanlardan kaynaklanır. Gradyan kırpma (normu 1 veya 5'e kırpın) uygulayın ve öğrenme oranını düşürün. Girdilerin normalleştirildiğinden emin olun. Sorun devam ederse, kapı mekanizmaları sayesinde daha kararlı olan LSTM veya GRU'ya geçin.

2024'te hala NLP görevleri için bir RNN kullanabilir miyim?

Üretim NLP'si için BERT veya RoBERTa gibi önceden eğitilmiş dönüştürücüler baskındır. Basit RNN'ler en iyi hafif temeller, daha büyük mimarilerin içindeki bileşenler veya büyük model boyutlarının engelleyici olduğu kaynak kısıtlı ortamlar için saklanmalıdır.

Gizli durum boyutunu nasıl seçerim?

Yaygın seçimler, görev karmaşıklığına ve veri kümesi boyutuna bağlı olarak 64 ila 512 birim arasında değişir. Küçük başlayın (örneğin, 128), doğrulama kaybını izleyin ve yalnızca yetersiz uyum belirginse kapasiteyi artırın. Daha büyük gizli durumlar, küçük veri kümelerinde aşırı uyum riskini artırır.

Dizi sınıflandırması için hangi kayıp fonksiyonunu kullanmalıyım?

İkili sınıflandırma için ikili çapraz entropi kullanın; çok sınıflı için son gizli durum üzerinde softmax ile kategorik çapraz entropi kullanın. Dizi etiketleme (adım başına bir çıktı) için, kaybı her zaman adımında uygulayın ve adımlar arasında ortalama veya toplamını alın.

İlgili yöntemler

Kaynaklar

  1. Elman, J. L. (1990). Finding structure in time. Cognitive Science, 14(2), 179–211.

    DOI kaynağını aç
    Kopyalandı.
  2. Rumelhart, D. E., Hinton, G. E., & Williams, R. J. (1986). Learning representations by back-propagating errors. Nature, 323(6088), 533–536.

    DOI kaynağını aç
    Kopyalandı.