İçeriğe atla
Arama sonuçlarına dön

LSTM ile Transfer Öğrenme

Ortaya koyan
Howard, J. & Ruder, S. (ULMFiT); general concept: Pan & Yang (2010)
Yıl
2018 (ULMFiT; concept since ~2010)
Tür
Transfer learning / Sequential model
Aile
Deep learning / NLP / CV

Bu metin makine çevirisidir ve henüz incelenmedi. Asıl metni İngilizce oku

Yazı boyutu

Ne işe yarar?

LSTM ile Transfer Öğrenme, bir Uzun Kısa Süreli Bellek (LSTM) ağının önce büyük bir kaynak veri kümesi veya görev üzerinde önceden eğitildiği ve ardından öğrenilen ağırlıklarının daha küçük bir hedef görev üzerinde aktarılıp ince ayarlandığı bir tekniktir.

ULMFiT (Howard & Ruder, 2018) tarafından popülerleştirilen bu yaklaşım, etiketli hedef verinin kıt olduğu durumlarda bile LSTM tabanlı modellerin güçlü performans göstermesini sağlar.

Yöntemin mantığı

Küçük bir veri kümesi üzerinde sıfırdan bir LSTM eğitmek risklidir: model nadiren genel dil veya dizi örüntüleri öğrenir ve kolayca aşırı uyum sağlar. Transfer öğrenme, LSTM'yi bol miktarda veri üzerinde -genellikle büyük bir metin veri kümesinde dil modelleme hedefiyle- eğreterek bu sorunu aşar, böylece gizli durumları zaten dilbilgisi, bağlam ve anlamın zengin temsillerini kodlar. Ardından bu ağırlıkları belirli göreviniz için ince ayar yaptığınızda, model rastgele başlatmaya göre çok daha iyi bir konumdan başladığı için hızla uyum sağlar, tıpkı tam bir eğitim programı yerine yalnızca kısa bir oryantasyona ihtiyaç duyan bir uzmana benzer.

Tarih

Sinir ağları için transfer öğrenmenin genel kavramı Pan & Yang (2010) tarafından biçimlendirilmiştir. Tekrarlayan ağlara pratik uygulaması, üç aşamalı bir LSTM eğitim rejimi - genel dil modellemesi, hedef alan dil modellemesi, sınıflandırıcı ince ayarı - metin sınıflandırma kıyaslamalarında çok daha büyük denetimli modellerle eşleşebileceğini veya onları yenebileceğini gösteren ULMFiT (Howard & Ruder, 2018) ile geniş ilgi gördü. ULMFiT'in başarısı, Transformer dönemi ön eğitim paradigmasını (BERT, GPT) önceleri ve doğrudan etkiledi ve dizi transfer öğrenmesi için kanonik bir referans olmaya devam ediyor.

Ne zaman kullanılır?

Sıralı modelleme göreviniz olduğunda - metin sınıflandırma, duygu analizi, adlandırılmış varlık tanıma, zaman serisi tahmini - ancak yalnızca küçük bir etiketli veri kümeniz olduğunda LSTM ile Transfer Öğrenme kullanın. Özellikle önceden eğitilmiş bir dil modelinin kaynak veya hedef dil için mevcut olduğu ve alan uyarlamasının (etiketlenmemiş hedef alan metin) mümkün olduğu NLP görevleri için etkilidir. Dizi alanınızın ön eğitim veri kümesinden o kadar radikal bir şekilde farklı olduğu durumlarda negatif transferin olası olduğu, bireysel tekrarlayan durumların yorumlanabilirliğinin gerektiği (daha basit modeller tercih edilir) veya BERT ince ayarı gibi Transformer tabanlı alternatiflerin mevcut olduğu ve veri kümesinin metin tabanlı olduğu durumlarda bundan kaçının (Transformer'lar genellikle 2019'dan beri NLP'de LSTM'lerden daha iyi performans gösterir).

Sınırlar ve dikkat edilmesi gerekenler

  • Transformer tabanlı transfer yöntemleri (BERT, RoBERTa), NLP görevleri için LSTM'leri büyük ölçüde geride bırakmış ve genellikle daha yüksek doğruluk sağlamıştır.
  • LSTM eğitimi sıralıdır ve kolayca paralelleştirilemez, bu da çok büyük veri kümeleri üzerinde ön eğitimi yavaşlatır.
  • Kaynak ve hedef alanlar eşleşmezse, performansı sıfırdan bir taban çizgisinin altına düşürerek negatif transfer meydana gelebilir.
  • Nadir diller veya yüksek derecede uzmanlaşmış alanlar için uygun bir önceden eğitilmiş LSTM kontrol noktası gerektirir; yoksa hiçbiri mevcut olmayabilir.
  • İnce ayar kararlılığı, öğrenme oranı ve dondurma çizelgesine duyarlı olabilir ve dikkatli hiperparametre araması gerektirir.

Kaynak metnin koşulları, bağımsız bilimsel inceleme veya analiz motoru doğrulaması yerine geçmez.

Güçlü yönleri

  • Sıfırdan eğitmeye kıyasla etiketli veri gereksinimini önemli ölçüde azaltır.
  • Bag-of-words ve sığ modellerin kaçırdığı uzun menzilli sıralı bağımlılıkları yakalar.
  • Önceden eğitilmiş ağırlıklar, daha hızlı yakınsama ve daha iyi genelleme sağlayan güçlü bir başlatma sağlar.
  • Hem NLP hem de dilsel olmayan dizi verilerine (zaman serileri, konuşma, genomik) uygulanabilir.
  • Aşamalı çözme ve ayrımcı öğrenme oranları (ULMFiT), ilkeli ince ayar kontrolü sunar.
  • Birçok Transformer mimarisine kıyasla yorumlanabilir ara temsiller.

Uygulama alanları

  • Metin sınıflandırma (duygu analizi, konu kategorizasyonu, haber kategorizasyonu).
  • Sınırlı etiketli veri kümeleriyle adlandırılmış varlık tanıma ve dizi etiketleme.
  • Benzer serilerden önceden eğitilmiş ağırlıklar mevcut olduğunda zaman serisi anomali tespiti ve tahmini.
  • Sınırlı etiketli veriye sahip ancak etiketlenmemiş veri kümeleri mevcut olan düşük kaynaklı NLP.
  • Alan uyarlamalı LSTM kontrol noktalarıyla klinik not sınıflandırması ve biyomedikal dizi analizi.
  • Akustik ön eğitim mevcut olduğunda konuşma ve ses dizisi modellemesi.

Nasıl çalışır?

Nasıl çalışır?

1

Bir LSTM, genellikle dil modelleme (bir sonraki belirteci tahmin etme) olmak üzere genel bir hedef kullanılarak büyük bir kaynak veri kümesi üzerinde eğitilir. Bu aşama, ağa göreve özgü herhangi bir denetim olmaksızın genel dizi temsillerini - sözdizimsel yapı, yaygın eş-oluşumlar, uzun menzilli bağımlılıklar - öğretir. Elde edilen ağırlıklar, sonraki görevler için başlatma görevi görür.

2

Etiketli hedef görev üzerinde ince ayar yapmadan önce, önceden eğitilmiş LSTM, etiketlenmemiş hedef alan metin üzerinde dil modeli eğitimine devam edilerek isteğe bağlı olarak hedef alana uyarlanır. ULMFiT'te öne çıkan bu alan uyarlama adımı, kaynak ve hedef veri kümeleri arasındaki kelime dağarcığı ve stil farkını daraltır, genellikle düşük maliyetle anlamlı doğruluk artışları sağlar.

3

Önceden eğitilmiş temsilleri yok etmekten kaçınmak için, katmanlar tipik olarak başlangıçta dondurulur ve üstten (göreve özgü) alta (genel) doğru aşamalı olarak çözülür. ULMFiT, daha düşük katmanların daha yüksek katmanlardan daha küçük öğrenme oranları aldığı ve genel amaçlı özellikleri korurken göreve özgü uyarlamaya izin veren aşamalı çözme ve ayrımcı ince ayarı tanıttı.

4

LSTM'nin üzerine bir göreve özgü başlık (örneğin, metin sınıflandırması için bir softmax sınıflandırıcı veya dizi-değer tahmini için bir regresyon katmanı) eklenir. Ardından tüm ağ - veya çözülmüş kısmı - küçük bir öğrenme oranı ve genellikle yakınsamayı stabilize etmek için eğimli üçgen öğrenme oranı çizelgelemesi kullanılarak etiketli hedef veriler üzerinde uçtan uca eğitilir.

5

Performans, göreve uygun metrikler (sınıflandırma için doğruluk, F1, AUC; regresyon için RMSE veya MAE) kullanılarak ayrılmış bir test kümesi üzerinde değerlendirilir. Tipik transfer ayarlarında etiketli veriler kıt olduğundan, katmanlı k-katlı çapraz doğrulama şiddetle tavsiye edilir. Sıfırdan bir LSTM taban çizgisine karşı karşılaştırma, transferden elde edilen kazancı ölçer.

Sık yapılan hatalar

  • Tüm katmanlar için ince ayar sırasında aynı yüksek öğrenme oranını kullanmak, bu da önceden eğitilmiş temsilleri feci bir şekilde unutmaya yol açar.
  • Hedef alanın ön eğitim veri kümesinden belirgin şekilde farklı olduğu durumlarda alan uyarlamasını atlamak.
  • Yalnızca eğitim bölümünde değerlendirme yapmak ve örnek içi doğruluğu nihai sonuç olarak bildirmek.
  • Yeniden ağırlıklandırma veya aşırı örnekleme yapmadan hedef görevdeki sınıf dengesizliğini göz ardı etmek.
  • Aynı dil veya alan için önceden eğitilmiş bir Transformer mevcut olduğunda LSTM transferini seçmek - fırsat maliyeti önemlidir.

Sık sorulan sorular

Ne zaman BERT ince ayarı yerine LSTM transfer öğrenmesini tercih etmeliyim?

Hesaplama kaynakları ciddi şekilde kısıtlıysa, LSTM'ler büyük Transformer'lardan daha hafif olduğu için, metin dışı sıralı veriler (zaman serileri, konuşma, genomik) için LSTM transferini veya hesaplama kaynaklarının ciddi şekilde kısıtlı olduğu durumları tercih edin. İngilizce metinle standart NLP görevleri için BERT ailesi modelleri neredeyse her zaman LSTM'lerden daha iyi performans gösterir ve varsayılan seçim olmalıdır.

İnce ayarın başında kaç katmanı dondurmalıyım?

Yaygın bir strateji (ULMFiT'ten), başlangıçta yalnızca üst sınıflandırıcı başlığı dışındaki tüm katmanları dondurmak, ardından dönemler boyunca üstten alta doğru birer birer katmanları aşamalı olarak çözmektir. Bu, üst düzey özellikleri hedef göreve uyarlarken genel amaçlı alt katman temsillerini korur.

Alanım veya dilim için önceden eğitilmiş bir LSTM yoksa ne olur?

Alanınızdaki veya dilinizdeki herhangi bir büyük etiketlenmemiş veri kümesinde kendi LSTM dil modelinizi önceden eğitebilirsiniz. Nispeten küçük bir alan veri kümesi (birkaç milyon belirteç) bile, özellikle uzmanlaşmış terminoloji için rastgele ağırlıklardan daha iyi bir başlatma sağlar.

Bunu metin yerine zaman serilerine uygulayabilir miyim?

Evet. LSTM ile Transfer Öğrenme, zaman serileri için iyi bir şekilde kurulmuştur: ilgili dizilerden oluşan büyük bir koleksiyon üzerinde önceden eğitilmiş bir ağ (örneğin, elektrik tüketimi veya EKG sinyalleri), daha küçük bir hedef dizi üzerinde ince ayar yapılabilir ve genellikle sıfırdan LSTM taban çizgilerinden çok daha az hedef veriyle daha iyi performans gösterir.

Negatif transferin gerçekleştiğini nasıl anlarım?

İnce ayarlanmış modelin performansını yalnızca hedef veriler üzerinde eğitilmiş sıfırdan bir LSTM ile karşılaştırın. Aktarılan model daha kötü performans gösteriyorsa, negatif transfer muhtemeldir. Çözümler arasında ince ayarı yalnızca üst katmanlarla sınırlamak, daha küçük bir öğrenme oranı kullanmak veya hedef alana daha yakından uyan bir ön eğitim veri kümesi seçmek yer alır.

İlgili yöntemler

Kaynaklar

  1. Howard, J. & Ruder, S. (2018). Universal Language Model Fine-Tuning for Text Classification. Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (ACL), 328–339.

    DOI kaynağını aç
    Kopyalandı.
  2. Transfer learning. Wikipedia.

    Yayın kaynağını aç
    Kopyalandı.