Uzun Kısa Süreli Bellek (LSTM)
- Ortaya koyan
- Hochreiter, S. & Schmidhuber, J.
- Yıl
- 1997
- Tür
- Recurrent neural network with gated memory cells
- Aile
- Deep learning / NLP / CV
Bu metin makine çevirisidir ve henüz incelenmedi. Asıl metni İngilizce oku
Ne işe yarar?
Uzun Kısa Süreli Bellek (LSTM), 1997 yılında Hochreiter ve Schmidhuber tarafından tanıtılan, kapılı bir tekrarlayan sinir ağı mimarisidir.
Özel bellek hücreleri ve üç öğrenilmiş kapı — unutma, girdi ve çıktı — kullanarak uzun diziler boyunca bağımlılıkları öğrenmek üzere tasarlanmıştır. Bu kapılar, her zaman adımında hangi bilginin saklanacağını, güncelleneceğini veya ileriye aktarılacağını kontrol eder.
Yöntemin mantığı
Basit bir tekrarlayan ağ, tek bir gizli durumu yeniden kullanarak bilgiyi zaman içinde taşımaya çalışır, ancak uzun dizilerde gradyanlar küçülür veya patlar, bu da birçok adımı kapsayan bağımlılıkları öğrenmeyi neredeyse imkansız hale getirir. LSTM'ler bunu, bir taşıma bandı gibi hareket eden ayrı bir bellek hücresiyle çözer: unutma kapısı hangi eski bilginin silineceğine karar verir, girdi kapısı yeni bilgi ekler ve çıktı kapısı hücrenin bir sonraki katmana neyi açıklayacağını belirler. Hücre, bilgiyi birçok adım boyunca büyük ölçüde değişmeden taşıyabildiği için, eğitim sırasında gradyanlar daha güvenilir bir şekilde akar ve ağın cümleleri, paragrafları veya uzun zaman pencerelerini kapsayan kalıpları öğrenmesini sağlar.
Tarih
Hochreiter ve Schmidhuber, basit RNN'lerin uzun menzilli bağımlılıkları öğrenmesini engelleyen gradyan yok olma sorununu ele almak için 1997'de LSTM mimarisini tanıttı. 2000'ler boyunca bir araştırma merakı olarak kaldı; 2010'ların başlarında, Graves ve Hinton'ın konuşma tanıma üzerine ve Sutskever'ın diziden diziye öğrenme üzerine yaptığı çalışmalarla, LSTM'ler sıralı görevler için baskın mimari haline geldi. Bu konumlarını Transformer'ın 2018-2019 civarında onları geçmesine kadar korudular, ancak LSTM'ler zaman serisi ve kaynak kısıtlı ortamlarda hala yaygın olarak kullanılmaktadır.
Ne zaman kullanılır?
LSTM, gözlemlerin sırasının önemli olduğu ve ilgili bağlamın birçok adımı kapsayabileceği görevler için çok uygundur: metin sınıflandırması, duygu analizi, adlandırılmış varlık tanıma, makine çevirisi, zaman serisi tahmini ve konuşma işleme. Dizileriniz orta uzunlukta (onlarca ila birkaç yüz adım) olduğunda ve kapı parametrelerini öğrenmek için yeterli etiketli veriye (genellikle binlerce örnek) sahip olduğunuzda LSTM'yi seçin. Çok uzun diziler için veya paralelliğin kritik olduğu durumlarda, Transformer genellikle tercih edilir. Daha kısa diziler için veya basitliğin önemli olduğu durumlarda, bir GRU (daha az parametre) veya önceden eğitilmiş ince ayarlı bir model (BERT, RoBERTa) daha uygun olabilir.
Sınırlar ve dikkat edilmesi gerekenler
- Sıralı hesaplama tamamen paralelleştirilemediği için Transformer'lardan daha yavaş eğitilir.
- Önemli miktarda etiketli veri gerektirir; küçük veri kümelerinde dropout'a rağmen aşırı uyum eğilimindedir.
- Çok uzun diziler (yüzlerce adım), sınırlı hücre kapasitesi nedeniyle hala LSTM'ler için zorlayıcıdır.
- Hiperparametre ayarı — gizli birimler, katmanlar, dropout, öğrenme oranı — zaman alıcı olabilir.
- Birçok NLP görevi için, önceden eğitilmiş Transformer modelleri artık sıfırdan eğitilmiş LSTM'lerden daha iyi performans göstermektedir.
Kaynak metnin koşulları, bağımsız bilimsel inceleme veya analiz motoru doğrulaması yerine geçmez.
Güçlü yönleri
- Gradyan yok olması olmadan uzun menzilli bağımlılıkları yakalamak için özel olarak tasarlanmıştır.
- Esnek mimari: dizi sınıflandırması, belirteç etiketleme, üretim ve tahmin için çalışır.
- Kara kutu alternatiflerine kıyasla yorumlanabilir kapı yapısı — unutma, girdi ve çıktı kapıları.
- Çift yönlü uzantı (BiLSTM), dizileri her iki yönde de işleyerek bağlamı iki katına çıkarır.
- NLP, konuşma ve zaman serisi alanlarında kanıtlanmış geniş bir uygulama yelpazesi.
Uygulama alanları
- Belgeler veya incelemeler üzerinde metin sınıflandırması ve duygu analizi.
- Dizi etiketleme: adlandırılmış varlık tanıma, sözcük türü etiketleme.
- Zaman serisi tahmini: hisse senedi fiyatları, sensör okumaları, enerji talebi.
- Akustik model bileşeni olarak konuşma tanıma.
- Kodlayıcı-kod çözücü LSTM mimarileri aracılığıyla makine çevirisi.
- Sıralı günlük veya sensör verilerinde anomali tespiti.
Nasıl çalışır?
Nasıl çalışır?
Her zaman adımında unutma kapısı, önceki gizli durumu ve mevcut girdiyi alır, bunları bir sigmoidden geçirir ve her hücre durumu elemanı için 0 ile 1 arasında bir değer üretir. 0'a yakın değerler o elemanı bellekten siler; 1'e yakın değerler ise onu korur. Bu öğrenilmiş silme işlemi, LSTM'nin artık alakalı olmayan bağlamı atmasına olanak tanır.
Formül
f_t = \sigma(W_f [h_{t-1}, x_t] + b_f)Yine sigmoid ile aktive olan girdi kapısı, aday hücre durumunun (tanh aracılığıyla hesaplanan) hangi elemanlarının hücreye yazılması gerektiğine karar verir. Unutma ve girdi kapıları birlikte, ağın, basit RNN'leri etkileyen gradyan yok olma sorunu olmadan, eski bilgiyi atarken yeni bilgiyi seçici olarak hatırlamasını sağlar.
Formül
i_t = \sigma(W_i [h_{t-1}, x_t] + b_i),\quad \tilde{c}_t = \tanh(W_c [h_{t-1}, x_t] + b_c)Hücre durumu, eski hücre durumunun unutma kapısı çıktısıyla eleman bazında çarpılması ve ardından girdi kapısı ile aday hücre durumunun eleman bazında çarpımının eklenmesiyle güncellenir. Bu toplamsal güncelleme, gradyanların birçok zaman adımı boyunca yok olmadan geriye doğru akabilmesinin ana nedenidir: hücre durumu yolu, tekrarlanan çarpma yerine toplama içerir.
Formül
c_t = f_t \odot c_{t-1} + i_t \odot \tilde{c}_tÇıktı kapısı, (tanh ile sıkıştırılmış) hücre durumunun ne kadarının bir sonraki zaman adımına ve üst katmana aktarılan gizli durum olarak açığa çıkarılacağını kontrol eder. Dahili belleğin açıkta kalan temsilden bu şekilde ayrılması, LSTM'ye sıralama görevlerinde ek esneklik sağlar.
Formül
o_t = \sigma(W_o [h_{t-1}, x_t] + b_o),\quad h_t = o_t \odot \tanh(c_t)Göreve bağlı olarak, LSTM son gizli durumu (dizi sınıflandırması), tüm gizli durumları (dizi etiketleme, çeviri) veya her ikisini birden döndürebilir. Pratikte, birden fazla LSTM katmanını istiflemek ve aralarına dropout eklemek, aşırı uyumu azaltırken temsil gücünü artırır.
Sık yapılan hatalar
- Dizilerin uzunluğu değiştiğinde doldurma ve maskeleme olmadan bir LSTM kullanmak, doldurulmuş sıfırlardan kaynaklanan sessiz hatalara yol açar.
- Çıkarım zamanında ağı değerlendirme moduna (dropout'u devre dışı bırakma) ayarlamayı unutmak.
- Gradyan kırpma olmadan eğitim yapmak, LSTM'lerde bile gradyanların patlamasına yol açabilir.
- Dengesiz dizi veri kümelerinde yalnızca doğruluk raporlamak yerine sınıf başına F1 veya AUC raporlamak.
- Gelecekteki bağlamın mevcut olduğu görevler (NER veya maskeli tahmin gibi) için tek yönlü bir LSTM'yi yeterli görmek.
Sık sorulan sorular
LSTM ve GRU arasındaki fark nedir?
Bir GRU, unutma ve girdi kapılarını tek bir güncelleme kapısında birleştirir ve ayrı bir hücre durumuna sahip değildir, bu da daha az parametreye ve daha hızlı eğitime yol açar. LSTM'ler, çok hassas uzun süreli bellek gerektiren görevlerde GRU'lardan biraz daha iyi performans gösterme eğilimindedir, ancak fark genellikle küçüktür ve veri kümesine bağlıdır.
Çift yönlü bir LSTM kullanmalı mıyım?
Göreviniz, tahminler yapmadan önce tam diziye erişime izin veriyorsa — sınıflandırma, NER veya çevrimdışı tahmin — bir BiLSTM, hem geçmiş hem de gelecek bağlamı dahil ederek doğruluğu tipik olarak artırır. Tahminlerin gerçek zamanlı olarak yapılması gerekiyorsa (çevrimiçi tahmin, akış), tek yönlü bir LSTM kullanın.
Bir LSTM yerine ne zaman bir Transformer seçmeliyim?
Yeterli hesaplama gücüne sahip çoğu modern NLP görevi için, önceden eğitilmiş Transformer'lar (BERT, RoBERTa), sıfırdan eğitilmiş LSTM'lerden daha iyi performans gösterir. Hesaplama veya gecikme kısıtlı olduğunda, dizileriniz metin yerine sayısal zaman serisi olduğunda veya büyük bir önceden eğitilmiş modeli ince ayarlamak için çok az veriniz olduğunda bir LSTM seçin.
Değişken uzunluktaki dizileri nasıl ele alırım?
Daha kısa dizileri ortak bir uzunluğa doldurun, kayıp hesaplamasında doldurma belirteçlerini yok saymak için bir maske oluşturun ve doldurulmuş konumların gizli durumu etkilememesi için paketlenmiş diziler (PyTorch) veya maskeleme katmanları (Keras/TensorFlow) kullanın.
Kaç LSTM katmanı ve gizli birim kullanmalıyım?
Çoğu görev için 64-512 gizli birime sahip bir ila iki yığılmış LSTM katmanı makul bir başlangıç aralığıdır. Daha fazla katman ve birim kapasiteyi artırır ancak aynı zamanda eğitim süresini ve aşırı uyum riskini de artırır; katmanlar arasında dropout kullanın ve ayrılmış bir küme veya çapraz doğrulama ile doğrulayın.
İlgili yöntemler
Kaynaklar
Hochreiter, S. & Schmidhuber, J. (1997). Long short-term memory. Neural Computation, 9(8), 1735–1780.
DOI kaynağını açKopyalandı.Graves, A., Mohamed, A.-R. & Hinton, G. (2013). Speech recognition with deep recurrent neural networks. Proceedings of ICASSP 2013, pp. 6645–6649. IEEE.
DOI kaynağını açKopyalandı.