İçeriğe atla
Arama sonuçlarına dön

LSTM

Ortaya koyan
Hochreiter, S. & Schmidhuber, J.
Yıl
1997
Tür
Recurrent neural network (gated memory cell)

Bu metin makine çevirisidir ve henüz incelenmedi. Asıl metni İngilizce oku

Yazı boyutu

Ne işe yarar?

LSTM (Uzun Kısa Süreli Bellek), Sepp Hochreiter ve Jürgen Schmidhuber tarafından 1997'de tanıtılan, sıralı verilerdeki uzun vadeli bağımlılıkları öğrenebilen ve zaman serisi ile dizi tahmininde yaygın olarak kullanılan bir tekrarlayan sinir ağı mimarisidir.

Bilginin birçok zaman adımında kalıcılığını sağlayan dahili bir belleğe sahiptir.

Yöntemin mantığı

Sıradan tekrarlayan ağlar, öğrenme sinyalinin ulaşması gereken mesafe uzadıkça zayıflaması nedeniyle bilgiyi uzun diziler boyunca taşımakta zorlanır. LSTM, her bir birime, bir değeri zaman içinde tutabilen bir bellek hücresi ve neyi hatırlayacağına, neyi unutacağına ve neyi ileteceğine karar veren kapılar ekleyerek bu sorunu çözer. Bu sayede ağ, bir dizideki birbirinden uzak olayları birbirine bağlayabilir ki bu da zaman serisi ve dizi problemlerinin tam olarak gerektirdiği şeydir.

Tarih

LSTM, Sepp Hochreiter ve Jürgen Schmidhuber tarafından 1997'de, önceki tekrarlayan ağların uzun menzilli bağımlılıkları öğrenmesini engelleyen kaybolan gradyan sorununu aşmak için tanıtıldı. Kapılı bellek hücresi, dikkat tabanlı mimariler ortaya çıkmadan önce dizi modellemesinin temel taşı ve zaman serisi ile dizi tahmin görevleri için standart bir seçim haline geldi.

Ne zaman kullanılır?

Uzun menzilli zamansal kalıpların önemli olduğu ve geniş bir veri kümesinin (yaklaşık 500 veya daha fazla gözlem) mevcut olduğu, zaman serisi veya boylamsal yapıya sahip sürekli veya tarih indeksli dizilerde tahmin ve öngörü için iyi bir uyum sağlar. Girdiler normalleştirilmeli ve GPU hızlandırması önerilir. Daha küçük örneklemlerde ağ aşırı uyum gösterir, bu nedenle Random Forest (500'ün altında) veya XGBoost (200'ün altında) gibi daha basit modeller daha güvenlidir.

Sınırlar ve dikkat edilmesi gerekenler

  • Güvenilir bir şekilde eğitmek için büyük bir veri kümesine (yaklaşık 500 veya daha fazla gözlem) ihtiyaç duyar.
  • Küçük örneklemlerde aşırı uyum gösterir; bu durumlarda daha basit makine öğrenimi modelleri daha iyi genelleşir.
  • Girdilerin eğitimden önce normalleştirilmesi gerekir, bu da zorunlu bir ön işleme adımı ekler.
  • Hesaplama açısından yoğundur; pratik eğitim için GPU hızlandırması şiddetle tercih edilir.

Kaynak metnin koşulları, bağımsız bilimsel inceleme veya analiz motoru doğrulaması yerine geçmez.

Güçlü yönleri

  • Sıradan tekrarlayan ağların kaybettiği sıralı verilerdeki uzun vadeli bağımlılıkları öğrenir.
  • Zaman serisi ve boylamsal tahmin ile dizi öngörüsü için çok uygundur.
  • Dağılım hakkında varsayım gerektirmez: normal dağılmış veri gerektirmez.
  • Sürekli ve tarih indeksli dizi girdilerini doğal olarak işler.

Uygulama alanları

  • Sürekli veya tarih indeksli veriler üzerinde zaman serisi tahmini.
  • Uzun menzilli zamansal kalıpların önemli olduğu dizi tahmini.
  • Birçok zaman adımına yayılan bağımlılıklara sahip boylamsal verilerin modellenmesi.
  • Zamansal belleğin esas olduğu büyük sıralı veri kümeleri üzerindeki tahmin görevleri.

Nasıl çalışır?

Nasıl çalışır?

1

Her LSTM birimi, durumu dizi boyunca ilerleyen bir bellek hücresi taşır. Bu hücre, bilgi için bir taşıma bandı görevi görür ve ilgili sinyallerin bir veya iki zaman adımından sonra kaybolmak yerine birçok zaman adımında kalıcılığını sağlar; bu da ağın uzun vadeli bağımlılıkları öğrenmesini mümkün kılar.

2

Kapılar, bellek hücresine giriş ve çıkış akışını düzenler: bir kapı geçmiş durumun ne kadarının korunacağına, bir diğeri hangi yeni bilginin yazılacağına ve bir diğeri de birimin yanıtı olarak neyin okunacağına karar verir. Ağ, bu kapıları verilerden öğrenerek, uzun dizilerdeki belleği kontrol eder ve bellek tarafından bunaltılmaz.

3

Dizi adım adım işlenirken, her adımda kapılı gizli durum, tahmini üreten bir çıktı katmanını besler — örneğin bir zaman serisindeki bir sonraki değeri. Girdilerin normalleştirilmesi gerektiği ve ağın büyük olduğu için, eğitim için kayda değer bir veri kümesi (yaklaşık 500 veya daha fazla gözlem) ve ideal olarak GPU hızlandırması gereklidir.

Formül
\hat{y}_t = f(h_t)

Sık yapılan hatalar

  • Normalleştirilmemiş girdilerin beslenmesi, bu durum eğitimi istikrarsızlaştırır.
  • Yaklaşık 500'den az gözlemle eğitim yapmak ve daha basit bir modele geri dönmek yerine sonuca güvenmek.
  • Klasik makine öğreniminin yeterli olacağı çok küçük bir örnekleme derin bir tekrarlayan ağ uygulamak.
  • Aşırı uyumu göz ardı etmek ve örnek içi uyumu tahmin performansıymış gibi raporlamak.

Sık sorulan sorular

Bir LSTM ne kadar veriye ihtiyaç duyar?

Büyük veri kümeleri için tasarlanmıştır — yaklaşık 500 veya daha fazla gözlem. Bunun altında ağ aşırı uyum gösterme eğilimindedir ve kötü genelleşir, bu nedenle Random Forest gibi daha basit bir model önerilen geri dönüş seçeneğidir ve yaklaşık 200 gözlemin altında XGBoost daha iyi bir seçimdir.

Girdileri normalleştirmem gerekiyor mu?

Evet. Normalleştirme, LSTM için zorunlu bir ön işleme adımıdır; ölçeklenmemiş girdiler eğitimi istikrarsızlaştırır ve sonucu bozar.

LSTM'yi düz bir tekrarlayan ağdan farklı kılan nedir?

LSTM, neyi hatırlayacağını, unutacağını ve çıktı olarak vereceğini kontrol eden bir bellek hücresi ve kapılar ekler. Bu, bilginin uzun diziler boyunca taşınmasını ve düz bir tekrarlayan ağın kaybolan gradyanlar nedeniyle kaybettiği uzun vadeli bağımlılıkları öğrenmesini sağlar.

Bir GPU gerekli mi?

Kesinlikle gerekli değildir, ancak GPU hızlandırması şiddetle tercih edilir çünkü büyük sıralı veri kümeleri üzerinde LSTM eğitimi hesaplama açısından yoğundur.

İlgili yöntemler

Kaynaklar

  1. Hochreiter, S. & Schmidhuber, J. (1997). Long Short-Term Memory. Neural Computation, 9(8), 1735–1780.

    DOI kaynağını aç
    Kopyalandı.