İçeriğe atla
Arama sonuçlarına dön

İnce Ayarlı LSTM

Ortaya koyan
Howard, J. & Ruder, S. (ULMFiT); foundational LSTM by Hochreiter & Schmidhuber
Yıl
2018 (fine-tuning paradigm formalised); LSTM core: 1997
Tür
Supervised sequential model with transfer learning
Aile
Deep learning / NLP / CV

Bu metin makine çevirisidir ve henüz incelenmedi. Asıl metni İngilizce oku

Yazı boyutu

Ne işe yarar?

İnce Ayarlı LSTM, önceden büyük bir veri kümesi üzerinde eğitilmiş bir Uzun Kısa Süreli Bellek (LSTM) ağını, görev özgü etiketli veriler üzerinde eğitime devam ederek metin sınıflandırma, duygu analizi veya dizi etiketleme gibi belirli bir aşağı akış görevine uyarlar.

ULMFiT çerçevesi tarafından popülerleştirilen bu yaklaşım, etiketli verinin kıt olduğu durumlarda bile güçlü performans elde eder.

Yöntemin mantığı

Küçük etiketli bir veri kümesi üzerinde sıfırdan bir LSTM eğitmek genellikle zayıf sonuçlar verir çünkü ağın hem dilin yapısını hem de görevi aynı anda öğrenmesi gerekir. İnce ayar bu endişeleri ayırır: büyük bir etiketsiz veri kümesi ağa genel sıralı temsiller öğretir ve ardından küçük bir etiketli küme bu temsilleri hedef göreve yönlendirir. Önceden eğitilmiş ağırlıklar, ince ayar sırasındaki gradyan güncellemelerinin rastgele başlatmadan her şeyi öğrenmek yerine hedeflenmiş ayarlamalar yapmasını sağlayan bilgili bir başlangıç noktası görevi görür.

Tarih

LSTM mimarisi, tekrarlayan ağlardaki kaybolan gradyan sorununu çözmek için 1997'de Hochreiter ve Schmidhuber tarafından tanıtıldı. NLP için önceden eğitilmiş LSTM'leri ince ayarlamak, Howard ve Ruder'ın ULMFiT'i (2018) ile ana akım haline geldi; bu çalışma, üç aşamalı eğitimin — dil modeli ön eğitimi, alan uyarlaması ve görev ince ayarı — güçlü metin sınıflandırması için gereken etiketli veriyi önemli ölçüde azalttığını gösterdi. ULMFiT, şu anda NLP ölçütlerine hakim olan önceden eğitilmiş Transformer ince ayarının (BERT, GPT) sonraki dalgasını etkiledi.

Ne zaman kullanılır?

İnce Ayarlı LSTM, sıralı veya metin verileriniz olduğunda, sınırlı görev özgü etiketli örnekleriniz (onlarca ila binlerce) olduğunda ve önceden eğitilmiş bir LSTM dil modeline erişiminiz veya onu yükleme olanağınız olduğunda uygundur. Tam Transformer modellerinin çok kaynak yoğun olduğu veya dizi uzunluklarının mütevazı olduğu metin sınıflandırma, duygu analizi ve dizi etiketleme görevlerinde üstündür. Etiketli verinin bol olduğu ve sıfırdan eğitimin mümkün olduğu durumlarda, hedef alanın oldukça teknik olduğu ve uygun bir önceden eğitilmiş modelin bulunmadığı durumlarda veya Transformer'ların daha iyi başa çıktığı çok uzun menzilli bağımlılıklar gerektiren görevlerde bundan kaçının. Büyük etiketli veri kümeleri için, ince ayarlı BERT tabanlı modeller genellikle LSTM tabanlı yaklaşımlardan daha iyi performans gösterir.

Sınırlar ve dikkat edilmesi gerekenler

  • Metin görevlerindeki performans, hesaplama imkan sağladığında genellikle ince ayarlı Transformer modellerinin (BERT, RoBERTa) altında kalır.
  • Kalite, ön eğitim veri kümesinin hedef alana olan uygunluğuna büyük ölçüde bağlıdır.
  • LSTM eğitimi doğası gereği sıralıdır ve zaman adımları boyunca paralelleştirilemez, bu da uzun dizilerde ön eğitimi yavaşlatır.
  • Aşamalı çözme ve ayırt edici öğrenme oranları, dikkatli ayar gerektiren ek hiperparametreler getirir.

Kaynak metnin koşulları, bağımsız bilimsel inceleme veya analiz motoru doğrulaması yerine geçmez.

Güçlü yönleri

  • Düşük veri rejimlerinde etkilidir: önceden eğitilmiş temsiller, sınırlı etiketli örnemleri telafi eder.
  • CPU'da veya belleği kısıtlı donanımda büyük Transformer modellerini ince ayarlamaya göre daha düşük hesaplama maliyeti.
  • Aşamalı çözme ve ayırt edici öğrenme oranları, önceden eğitilmiş bilginin felaket unutulmasını azaltır.
  • Dolgu ağırlıklı dikkat mekanizmaları olmadan değişken uzunluklu dizileri doğal olarak işler.
  • LSTM hesaplamasının sıralı doğası nedeniyle akış veya gerçek zamanlı çıkarım için uygundur.

Uygulama alanları

  • Sınırlı etiketli veriye sahip metin sınıflandırma (duygu, konu, niyet).
  • Adlandırılmış varlık tanıma ve kelime türü etiketleme gibi dizi etiketleme görevleri.
  • Alan özgü önceden eğitilmiş LSTM'ler mevcut olduğunda zaman serisi anomali tespiti ve tahmini.
  • Transformer önceden eğitilmiş modellerin mevcut olmadığı düşük kaynaklı dil NLP.
  • Tam Transformer'lardan daha küçük sıralı modeller gerektiren kenar veya gömülü dağıtım senaryoları.
  • Genel bir LSTM'nin giderek yeni alanlar için uzmanlaştırıldığı yinelemeli alan uyarlaması işlem hatları.

Nasıl çalışır?

Nasıl çalışır?

1

Çok katmanlı bir LSTM, önce bir dizi içindeki sonraki jetonu tahmin etmek için büyük, genel alanlı bir veri kümesi (örneğin, WikiText-103) üzerinde bir dil modeli olarak eğitilir. Bu aşama, herhangi bir görev etiketi gerektirmeden gizli durumlara zengin sıralı ve anlamsal temsiller aşılar.

2

Yeni bir alana uyum sağlarken, katmanlar aşamalı olarak çıktı katmanından içe doğru çözülür — bu tekniğe aşamalı çözme denir. Bu, önceki katmanların yeni görevde sabitlenmesinden sonra güncellenmesine izin vererek önceden eğitilmiş temsillerin felaket unutulmasını önler.

3

Görev özgü bir çıktı başlığı (örneğin, dizi etiketleme için bir softmax sınıflandırıcı, bir CRF katmanı veya bir regresyon başlığı) son LSTM gizli durumuna eklenir. Bu başlık önce LSTM gövdesi donmuşken eğitilir, ardından tüm ağ uçtan uca ince ayarlanır.

4

Ayırt edici ince ayar, her LSTM katmanına farklı öğrenme oranları atar — genel özellikleri tutan erken katmanlar için daha düşük oranlar ve göreve daha yakın olan sonraki katmanlar için daha yüksek oranlar. Howard & Ruder, çıktıdan girdiye doğru katman başına 2.6 faktörüyle öğrenme oranını bölmeyi önermiştir.

Formül
\eta_l = \eta_{L} / (2.6)^{L - l}
5

Tamamen çözülmüş ağ, etiketli hedef veri kümesi üzerinde, genellikle önce kısa bir süre artan sonra azalan eğimli üçgen bir öğrenme oranı çizelgesi ile eğitilir. Performans, görev uygun metrikler (doğruluk, F1, AUROC vb.) kullanılarak ayrılmış bir doğrulama kümesi üzerinde değerlendirilir ve en iyi kontrol noktası seçilir.

Sık yapılan hatalar

  • Önceden eğitilmiş temsillerin felaket unutulmasına neden olarak aşamalı çözmeyi atlamak ve tüm katmanları aynı anda ince ayarlamak.
  • Eşleşmeyen bir alandan (örneğin, yüksek oranda teknik biyomedikal diziler için genel web metni) önceden eğitilmiş bir model kullanmak, ara alan uyarlaması olmadan.
  • Yalnızca eğitim bölümünde değerlendirme yapmak veya küçük hedef veri kümelerindeki aşırı uyumu tespit etmek için doğrulama kaybını izlememek.
  • Ayırt edici oranları uygulamak yerine tüm LSTM katmanlarında tek tip bir öğrenme oranı ayarlamak.
  • Sınıflandırma başlığındaki sınıf dengesizliğini göz ardı etmek, çoğunluk sınıfında şişirilmiş doğruluğa yol açmak.

Sık sorulan sorular

İnce Ayarlı LSTM hala BERT tabanlı modellerle rekabetçi mi?

Çoğu NLP ölçütü için, hesaplama imkan sağladığında ince ayarlı Transformer modelleri, ince ayarlı LSTM'lerden daha iyi performans gösterir. Ancak, İnce Ayarlı LSTM'ler küçük veri kümelerinde, kaynak kısıtlı ortamlarda ve LSTM'nin sıralı hesaplamasının avantaj olduğu akış çıkarım görevlerinde rekabetçi kalır.

Hangi önceden eğitilmiş LSTM'yi kullanmalıyım?

İngilizce NLP için, WikiText-103 üzerinde eğitilmiş AWD-LSTM ağırlıkları (ULMFiT yazarları tarafından fastai aracılığıyla yayınlandı) standart bir başlangıç noktasıdır. Alan özgü görevler için, görev ince ayarından önce alan içi etiketsiz metin üzerinde ara alan ön eğitimi genellikle anlamlı kazançlar sağlar.

İnce ayar için tipik olarak kaç epok gereklidir?

Görev özgü ince ayar genellikle etiketli veri kümesi üzerinde yalnızca 2–10 epok gerektirir. Doğrulama kaybını yakından izleyin; LSTM'ler küçük etiketli kümelerde hızla aşırı uyum sağlayabilir. Doğrulama F1 veya kaybına dayalı erken durdurma şiddetle tavsiye edilir.

İnce ayar ile transfer öğrenimi ile bir LSTM eğitmek arasındaki fark nedir?

Terimler genellikle örtüşür, ancak ince ayar özellikle önceden eğitilmiş ağırlıkları güncellemeye atıfta bulunurken (seçici olarak bile olsa), transfer öğrenimi bazen tüm önceden eğitilmiş katmanları dondurmayı ve yalnızca görev başlığını eğitmeyi tanımlar. Aşamalı çözme ile tam ince ayar, donmuş gövde yaklaşımından sürekli olarak daha iyi performans gösterir.

Ne zaman ince ayarlı bir Transformer'ı İnce Ayarlı bir LSTM'ye tercih etmeliyim?

GPU kaynaklarınız olduğunda, görevin uzun menzilli bağımlılıklar veya karmaşık bağlamsal anlayış içerdiği ve alanınız için büyük önceden eğitilmiş kontrol noktalarının mevcut olduğu durumlarda ince ayarlı bir Transformer'ı (örneğin, BERT) tercih edin. Donanımın sınırlı olduğu, dizilerin kısa ila orta uzunlukta olduğu veya kenar cihazlarda çıkarım gecikmesinin bir kısıtlama olduğu durumlarda İnce Ayarlı LSTM'yi seçin.

İlgili yöntemler

Kaynaklar

  1. Howard, J., & Ruder, S. (2018). Universal Language Model Fine-tuning for Text Classification. Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (ACL), 328–339.

    DOI kaynağını aç
    Kopyalandı.
  2. Hochreiter, S., & Schmidhuber, J. (1997). Long Short-Term Memory. Neural Computation, 9(8), 1735–1780.

    DOI kaynağını aç
    Kopyalandı.