İçeriğe atla
Arama sonuçlarına dön

İnce Ayarlanmış Tekrarlayan Sinir Ağı

Ortaya koyan
Popularised by Howard & Ruder (ULMFiT, 2018); RNN fine-tuning concept developed iteratively in the NLP community from ~2015
Yıl
2015–2018
Tür
Transfer learning / sequential model adaptation
Aile
Deep learning / NLP / CV

Bu metin makine çevirisidir ve henüz incelenmedi. Asıl metni İngilizce oku

Yazı boyutu

Ne işe yarar?

Bir İnce Ayarlanmış Tekrarlayan Sinir Ağı (RNN), büyük veri kümeleri veya zaman serisi verileri üzerinde önceden eğitilmiş bir modelden başlar ve ağırlıklarını kontrollü gradyan güncellemeleri yoluyla belirli bir aşağı akış görevi için uyarlar.

Bu yaklaşım, metin sınıflandırma, adlandırılmış varlık tanıma, duygu analizi ve ilgili görevlerde güçlü dizi modelleme performansı için gereken etiketli veriyi önemli ölçüde azaltır.

Yöntemin mantığı

Bir RNN'yi sıfırdan eğitmek, büyük etiketli veri kümeleri ve uzun çalışma süreleri gerektirir. İnce ayar, dilin yapısını veya ardışık örüntüleri zaten bilen bir ağı ödünç alıp ardından onu uzmanlaşmaya yönlendirerek bu durumdan kaçınır. Daha önceki tekrarlayan katmanlar – geniş sözdizimsel ve zamansal örüntüleri kodlayanlar – yalnızca nazik bir ayarlama gerektirirken, sonraki katmanlar ve görev-özel çıktı başlığı yeni bilginin çoğunu emer. Dikkatli öğrenme oranı çizelgelemesi, modelin zaten bildiği şeyleri unutmasını önler.

Tarih

Sınırlı etiketli örneğe sahip metin sınıflandırma (duygu analizi, konu kategorizasyonu).

Ne zaman kullanılır?

Etiketli veri hacminin sıfırdan eğitime kıyasla önemli ölçüde azalması.

Sınırlar ve dikkat edilmesi gerekenler

  • İnce ayarın kalitesi, ön eğitim veri kümesinin alaka düzeyine bağlıdır – uyumsuz bir alan kazanımları azaltır.
  • Hiperparametre hassasiyeti (öğrenme oranı çizelgesi, serbest bırakma dönemleri) dikkatli ayarlama veya doğrulama araması gerektirir.
  • Yeterli hesaplama gücü mevcut olduğunda çoğu NLP kıyaslaması için büyük ölçüde Transformer tabanlı modeller (BERT, RoBERTa) tarafından geride bırakılmıştır.
  • Tüm katmanlar boyunca tek bir yüksek öğrenme oranı kullanmak, önceden eğitilmiş ağırlıkları üzerine yazar ve aktarım faydalarını ortadan kaldırır.

Kaynak metnin koşulları, bağımsız bilimsel inceleme veya analiz motoru doğrulaması yerine geçmez.

Güçlü yönleri

  • Önceden eğitilmiş ağırlıklar, ilgili görevler ve alanlar arasında aktarılan zengin ardışık temsiller kodlar.
  • Büyük GPU kümeleri olmadan erişilebilir hale getiren, büyük Transformer modellerini ince ayarlamaya kıyasla hesaplama açısından daha hafiftir.
  • Aşamalı serbest bırakma ve ayrımcı öğrenme oranları, felaketle unutmayı etkili bir şekilde sınırlar.
  • Esnek: metin, zaman serisi, konuşma ve herhangi bir dizi yapılı veri için çalışır.
  • Sıradan RNN'ler kaybolan gradyanlardan muzdariptir ve uzun menzilli bağımlılıklarla mücadele eder; LSTM veya GRU tabanlı modelleri tercih edin.

Uygulama alanları

  • Biyomedikal veya yasal metin gibi özel alanlarda adlandırılmış varlık tanıma ve dizi etiketleme.
  • Önceden eğitilmiş dizi modellerini belirli sensör sinyallerine uyarlayarak zaman serisi anomali tespiti.
  • Düşük kaynaklı veya alana özgü veri kümeleri için dil modeli uyarlaması.
  • Önceden eğitilmiş kullanıcı davranışı dizisi kodlayıcılarından yararlanan ardışık öneri sistemleri.
  • Düz RNN, LSTM veya GRU'yu temel olarak kullanmalı mıyım?

Nasıl çalışır?

Nasıl çalışır?

1

Bir temel RNN (düz RNN, LSTM veya GRU) önce bir dil modelleme hedefi aracılığıyla, örneğin bir sonraki belirteç tahmini, veya büyük bir kaynak alan zaman serisi üzerinde büyük bir etiketsiz veri kümesinde önceden eğitilir. Bu aşama, görev-özel etiketler olmadan genel ardışık yapıyı yakalayan temsiller oluşturur.

2

Hedef göreve uyum sağlarken, katmanlar yukarıdan (çıktıya en yakın) aşağı doğru aşamalı olarak serbest bırakılır. Tüm tekrarlayan katmanları dondurarak başlamak, önceden eğitilmiş ağırlıkların felaketle unutulmasını önler; aşamalı serbest bırakma, bir sonraki serbest bırakılmadan önce her katmanın ayarlanmasına izin verir.

3

Farklı katmanlara farklı öğrenme oranları atanır – çıktıya yakın olanlara en yüksek, girdiye yakın olanlara en düşük. ULMFiT (Howard ve Ruder 2018) tarafından popülerleştirilen bu ayrımcı öğrenme oranı stratejisi, alt katmanların yalnızca minimum düzeyde değişmesi gereken daha genel özellikleri kodladığı gözleminden yansır.

4

Bir görev-özel çıktı başlığı (örneğin, duygu için doğrusal bir sınıflandırıcı, dizi etiketleme için bir CRF), son tekrarlayan katmanın üzerine eklenir. Bu başlık, öğrenilen temsilleri hedef alan etiketlerine eşlemek için serbest bırakılan tekrarlayan katmanlarla birlikte eğitilir.

5

Model performansı, görev uygun metrikler (doğruluk, F1, dengesiz sınıflar için makro ortalama F1 veya dizi düzeyinde metrikler) kullanılarak tutulan bir doğrulama kümesi üzerinde değerlendirilir. Doğrulama kaybına dayalı erken durdurma, küçük ince ayar veri kümesini aşırı uyumdan korur.

Sık yapılan hatalar

  • Aşamalı serbest bırakmayı atlamak ve tüm katmanları aynı anda ince ayarlamak, felaketle unutmaya yol açar.
  • Sınıfların dengesiz olduğu durumlarda yalnızca doğruluğu değerlendirmek – her zaman makro F1 ve sınıf başına metrikleri bildirin.
  • Farklı bir dilden veya alandan önceden eğitilmiş bir modelin iyi aktarılacağını varsaymak, alan uyarlaması olmadan.
  • Etiketli verinin az olduğu durumlarda erken durdurmayı ve ince ayar kümesini aşırı uyumlaştırmayı ihmal etmek.
  • NLP için önceden eğitilmiş RNN'lerin ince ayarı, büyük veri kümelerinde eğitilen dil modellerinin aktarılabilir temsiller gösterdiği 2015'ten itibaren kademeli olarak ortaya çıktı. Uygulama, LSTM dil modelleri için aşamalı serbest bırakma ve ayrımcı öğrenme oranlarını tanıtan Howard ve Ruder'ın ULMFiT makalesi (ACL 2018) tarafından sistematikleştirildi ve çok az görev-özel veriyle altı metin sınıflandırma kıyaslamasında en gelişmiş sonuçları elde etti. Transformer tabanlı ince ayar (BERT, 2018) kısa süre sonra NLP kıyaslamalarına hakim olsa da, ince ayarlanmış RNN'ler kaynak kısıtlı dağıtımlar ve zaman serisi uygulamaları için geçerliliğini koruyor.

Sık sorulan sorular

Her zaman düz RNN yerine LSTM veya GRU'yu tercih edin. Düz RNN'ler, birkaç düzine adımdan daha uzun dizilerde kaybolan gradyanlardan muzdariptir ve bu da önceden eğitilmiş temsilleri kırılgan hale getirir. LSTM'ler ve GRU'lar, uzun menzilli bilgileri korumak ve daha kararlı bir şekilde ince ayar yapmak için özel olarak tasarlanmıştır.

İnce ayar kaç dönem çalışmalı?

Genellikle hedef görevde 3-10 dönem, veri kümesi boyutuna bağlı olarak. Sabit bir dönem sayısı yerine doğrulama kaybına dayalı erken durdurmayı kullanın. Küçük bir veri kümesinde çok uzun süre ince ayar yapmak, önceden eğitilmiş başlatmaya rağmen aşırı uyuma neden olacaktır.

İnce ayarlanmış bir RNN yerine ince ayarlanmış bir Transformer'ı ne zaman tercih etmeliyim?

Hesaplama gücünün darboğaz olmadığı ve güçlü kıyaslama performansının hedeflendiği durumlarda, ince ayarlanmış Transformer'lar (BERT, RoBERTa) NLP görevlerinde ince ayarlanmış RNN'lerden sürekli olarak daha iyi performans gösterir. Daha küçük bir bellek ayak izi, CPU'da daha hızlı çıkarım istediğinizde veya Transformer'ın karesel dikkat mekanizmasının pratik olmadığı uzun zaman serisi verileriyle çalışırken ince ayarlanmış bir RNN seçin.

Alanım için önceden eğitilmiş bir RNN yoksa ne yapmalıyım?

Diliniz veya alanınız için önceden eğitilmiş bir model mevcut değilse, ilk adım olarak mevcut herhangi bir etiketsiz alan içi metin üzerinde küçük bir LSTM önceden eğitmeyi düşünün, veri kümesi mütevazı olsa bile. Alternatif olarak, çok dilli bir önceden eğitilmiş model kullanın ve hedef dil verileri üzerinde ince ayar yapın.

Felaketle unutmayı nasıl önleyebilirim?

Aşamalı serbest bırakmayı (katmanları yukarıdan aşağıya doğru tek tek serbest bırakma) uygulayın ve önceki katmanlar için daha düşük öğrenme oranları (ayrımcı öğrenme oranları) kullanın. ULMFiT'te önerilen eğimli üçgen öğrenme oranı çizelgeleri de modelin önceden eğitilmiş bilgileri silmeden iyi bir çözüme yerleşmesine yardımcı olur.

Sıra veri kümenizi MethodMind'da yükleyin, önceden eğitilmiş bir RNN tabanı seçin, katman bazlı öğrenme oranlarını ve serbest bırakma çizelgesini yapılandırın ve yerleşik erken durdurma ile ince ayarı çalıştırın. Doğrulama metrikleri, karışıklık matrisleri ve sınıf başına F1 otomatik olarak raporlanır.

İlgili yöntemler

Kaynaklar

  1. Howard, J. & Ruder, S. (2018). Universal Language Model Fine-Tuning for Text Classification. Proceedings of ACL 2018, 328–339.

    DOI kaynağını aç
    Kopyalandı.
  2. Recurrent neural network. Wikipedia.

    Yayın kaynağını aç
    Kopyalandı.