İçeriğe atla
Arama sonuçlarına dön

Transfer Learning

Ortaya koyan
Pan, S. J. & Yang, Q. (survey); Bengio, Y. (deep learning framing)
Yıl
2010 (formalized); 1990s (early roots)
Tür
Learning paradigm
Aile
Machine learning

Bu metin makine çevirisidir ve henüz incelenmedi. Asıl metni İngilizce oku

Yazı boyutu

Ne işe yarar?

Transfer learning, bir modelin bir kaynak görev veya alanda eğitilerek elde edilen bilginin, farklı ancak ilişkili bir hedef görevi veya alanda öğrenmeyi iyileştirmek için yeniden kullanıldığı bir makine öğrenmesi paradigmasıdır.

Özellikle hedef görev için etiketli verinin kıt olduğu durumlarda güçlüdür ve bilgisayarlı görü, doğal dil işleme ve ötesindeki çoğu modern derin öğrenme uygulamasının temelini oluşturur.

Yöntemin mantığı

Bisiklete binmeyi öğrenip ardından denge ve koordinasyon bilgisini motosiklet sürmeyi öğrenmeye uygulamayı hayal edin; sıfırdan başlamazsınız. Transfer learning de aynı şekilde çalışır: büyük, zengin bir veri kümesi (kaynak alan) üzerinde eğitilmiş bir model, kenarlar, dokular veya dilbilgisel kalıplar gibi faydalı temsilleri zaten öğrenmiştir. Yeni, daha küçük bir hedef veri kümesine uygulandığında, model iyi bir performansa ulaşmak için çok daha az etiketli veriye ihtiyaç duyar, çünkü zorlu temsil çalışması zaten yapılmıştır.

Tarih

Görevler arasındaki bilgi aktarımı kavramı 1990'larda ortaya çıktı (Pratt 1993; Thrun 1996). Alan, 2010 tarihli IEEE TKDE makalelerinde Pan ve Yang tarafından resmi olarak incelendi ve sistemleştirildi, bu makale hala kanonik referans niteliğindedir. Paradigma, derin öğrenmenin başarısıyla turboşarj edildi: Bengio ve arkadaşları derin ağların aktarılabilir temsiller öğrendiğini gösterdi ve ImageNet önceden eğitimi (Krizhevsky ve ark., 2012) bilgisayarlı görüde aktarımı varsayılan uygulama haline getirdi. BERT (2018) ve GPT (2018–) gibi büyük dil modellerinin tanıtılması, transfer learning'i NLP'ye genişletti ve onu neredeyse tüm derin öğrenme uygulamalarında baskın paradigma haline getirdi.

Ne zaman kullanılır?

Transfer learning, hedef görev için etiketli verinin sınırlı olduğu ancak bol etiketli ilişkili bir kaynak alanın veya büyük bir önceden eğitilmiş modelin mevcut olduğu durumlarda doğru seçimdir — örneğin, alan-özgü bir metin sınıflandırıcı için BERT'i ince ayarlamak veya ImageNet önceden eğitilmiş CNN'leri tıbbi görüntülemeye uyarlamak. Güçlü bir performansa ulaşmak için gereken veri ve hesaplama miktarını önemli ölçüde azaltır. Kaynak ve hedef alanların temelden ilgisiz olduğu durumlarda kaçının, çünkü olumsuz aktarım performansı sıfırdan eğitime göre daha kötü hale getirebilir. Hedef veri kümesinin bağımsız olarak yetenekli bir model eğitecek kadar büyük olduğu durumlarda da daha az gereklidir.

Sınırlar ve dikkat edilmesi gerekenler

  • Kaynak ve hedef alanlar çok farklı olduğunda olumsuz aktarım meydana gelebilir ve performansı sıfırdan eğitime göre olumsuz etkileyebilir.
  • Büyük önceden eğitilmiş modelleri ince ayarlamak önemli bellek gerektirir ve çok büyük modeller için önemli GPU kaynakları gerektirir.
  • Modelin ne kadarının dondurulacağı ve ne kadarının ince ayarlanacağı göreve bağlıdır ve deneyim gerektirir.
  • Kaynak ve hedef arasındaki alan kayması belirgin olmayabilir ve performansı sessizce düşürebilir.
  • Önceden eğitilmiş modeller üzerindeki yasal ve etik kısıtlamalar (lisans, eğitim verisi yanlılığı) belirli uygulamalarda kullanımı sınırlayabilir.

Kaynak metnin koşulları, bağımsız bilimsel inceleme veya analiz motoru doğrulaması yerine geçmez.

Güçlü yönleri

  • Kaynak temsillerini yeniden kullanarak hedef görev için etiketli veri gereksinimlerini önemli ölçüde azaltır.
  • Büyük modelleri sıfırdan eğitmeye kıyasla eğitim süresini ve hesaplama maliyetini kısaltır.
  • Küçük ve orta ölçekli hedef veri kümelerinde genellikle en son teknoloji performansı elde eder.
  • Genel amaçlı önceden eğitilmiş modeller (örneğin, ResNet, BERT, GPT), birçok alanda güçlü başlangıç noktaları sağlar.
  • Özellik çıkarma modu, GPU yoğun ince ayar olmadan bile derin temsillerin kullanılmasını sağlar.

Uygulama alanları

  • Alan-özgü metin sınıflandırması, NER veya soru yanıtlama için önceden eğitilmiş dil modellerini (BERT, GPT) ince ayarlama.
  • Etiketli taramaların kıt olduğu tıbbi görüntü analizi için ImageNet önceden eğitilmiş CNN'leri (ResNet, VGG) uyarlama.
  • Büyük çok dilli modellerden düşük kaynaklı dillere uyarlanmış konuşma tanıma sistemleri.
  • Ürün incelemeleri üzerinde öğrenilen temsilleri sosyal medya metnine aktararak alanlar arası duygu analizi.
  • İlişkili veri kümeleri üzerinde önceden eğitilmiş sinir ağı özelliklerini kullanarak küçük bir hedef tabloda tahminleri iyileştirme: Tablosal veri.
  • Etiketli deneysel verinin pahalı olduğu ve kimya literatüründen kaynak modellerinin güçlü önsel bilgiler sağladığı bilimsel alanlar (ilaç keşfi, malzeme bilimi).

Nasıl çalışır?

Nasıl çalışır?

1

Bol etiketli verinin mevcut olduğu büyük bir kaynak veri kümesi üzerinde bir model eğitilir. Bu aşamada model, genel amaçlı özellik temsilleri öğrenir — örneğin, bir evrişimli ağ milyonlarca görüntüden görsel hiyerarşiler öğrenir veya bir dil modeli milyarlarca belirteçten sözdizimsel ve anlamsal kalıplar öğrenir.

2

Kaynak ve hedef alanlar arasındaki ilişki değerlendirilir. Alanlar yakınsa (örneğin, her ikisi de doğal görüntüler içeriyorsa), öğrenilen temsiller daha doğrudan aktarılır. Alan kayması büyükse, uyarlamadan önce dağılımsal uyumsuzluğu azaltmak için alan-özel çekişmeli eğitim veya örnek ağırlıklandırma gibi teknikler uygulanır.

3

Önceden eğitilmiş model hedef göreve uygulanır. Özellik çıkarımında, önceki katmanlar dondurulur ve yalnızca sonraki göreve özgü katmanlar değiştirilip eğitilir. Tam ince ayarda, tüm katmanlar hedef veriler üzerinde güncellenir, genellikle daha önce öğrenilen temsilleri korumak ve felaket unutmayı önlemek için daha düşük bir öğrenme oranıyla.

4

Uyarlanmış model (tipik olarak küçük) etiketli hedef veri kümesi üzerinde eğitilir. Düzenlileştirme stratejileri — L2-SP (kaynak ağırlıklara doğru ceza), dropout veya erken durdurma gibi — sınırlı hedef etiketlere aşırı uyumu önler. Katman bazlı öğrenme oranı çizelgelemesi, derin ağlarda yaygındır.

5

Performans, göreve uygun metrikler (doğruluk, F1, RMSE vb.) kullanılarak ayrılmış bir hedef test kümesi üzerinde ölçülür. Sıfırdan eğitime ve yalnızca kaynak tabanlı bir tabana karşı yapılan karşılaştırmalar, aktarım kazancını ölçer ve olumsuz aktarımın olup olmadığını ortaya çıkarır.

Sık yapılan hatalar

  • Alan benzerliğini kontrol etmeden herhangi bir önceden eğitilmiş modelin iyi aktarılacağını varsaymak — her zaman sıfırdan eğitime karşı taban çizgisi oluşturun.
  • İnce ayar sırasında çok yüksek bir öğrenme oranı kullanmak, kaynak temsillerinin felaket unutmasına neden olur.
  • Yalnızca hedef eğitim kümesi üzerinde değerlendirme yapmak veya uygun bir ayrılmış test bölümünü göz ardı etmek.
  • Kaynak alandan miras alınan veri kümesi yanlılığını göz ardı etmek, bu da hedef tahminlerine yayılabilir.
  • Düzenlileştirme olmadan aşırı küçük bir hedef küme üzerinde ince ayar yapmak, şiddetli aşırı uyuma yol açar.

Sık sorulan sorular

Transfer learning'de özellik çıkarma ve ince ayar arasındaki fark nedir?

Özellik çıkarımında, önceden eğitilmiş modelin ağırlıkları dondurulur ve yalnızca yeni bir göreve özgü başlık eğitilir. İnce ayarda, önceden eğitilmiş ağırlıkların bir kısmı veya tamamı da hedef veriler üzerinde güncellenir — genellikle felaket unutmayı önlemek için küçük bir öğrenme oranıyla. Özellik çıkarma daha hızlıdır ve küçük veri kümelerinde aşırı uyuma daha az eğilimlidir; ince ayar genellikle yeterli hedef veri olduğunda daha iyi performans sağlar.

Transfer learning'in yardım edip etmeyeceğini veya zarar verip vermeyeceğini nasıl anlarım?

Temel soru alan benzerliğidir. Kaynak ve hedef dağılımları anlamlı bir yapı paylaşıyorsa (aynı modalite, benzer kelime dağarcığı, ilgili görsel kavramlar), aktarım neredeyse her zaman yardımcı olur. Sıfırdan bir taban çizgisi eğitin ve karşılaştırın: aktarılan model daha iyi değilse, alanlar çok farklı olabilir veya alan-özel hizalama tekniklerine ihtiyacınız olabilir.

Olumsuz aktarım nedir?

Olumsuz aktarım, kaynak alandan gelen bilginin hedef görevdeki performansa aktif olarak zarar vermesi durumunda meydana gelir — önceden eğitilmiş temsiller hedef yapıyla eşleşmez ve optimizasyonu yanıltır. En yaygın olarak kaynak ve hedef anlamsal veya istatistiksel olarak farklı olduğunda görülür. Kaynak ağırlıklara doğru düzenlileştirme (örneğin, L2-SP) veya yalnızca daha sığ katmanları kullanmak bunu azaltabilir.

İnce ayar için ne kadar hedef veriye ihtiyacım var?

Evrensel bir eşik yoktur, ancak hedef etiketli örnek sayısı onlarca ila birkaç bin olduğunda transfer learning en değerlidir. Çok az örnekle (yaklaşık 100'den az), çoğu katmanı dondurmak ve yalnızca başlığı eğitmek (özellik çıkarma) daha güvenlidir. Binlerce örnekle, daha derin ince ayar yapılabilir ve genellikle faydalıdır.

Transfer learning sadece görüntüler ve metinler için değil, tablosal veriler için de uygulanabilir mi?

Evet, ancak daha az tak-çalıştır şeklindedir. Yaklaşımlar, ilgili alanlardan büyük tablosal veri kümeleri üzerinde sinir ağlarını önceden eğitmeyi veya temel modellerden gelen gömmeleri ek özellikler olarak kullanmayı içerir. SAINT ve TabPFN gibi kütüphaneler bu yönde araştırmalar yapmaktadır. Klasik tablosal görevler için, gradyan artırma, transfer olmadan bile genellikle güçlü bir rakip olmaya devam eder.

İlgili yöntemler

Kaynaklar

  1. Pan, S. J., & Yang, Q. (2010). A Survey on Transfer Learning. IEEE Transactions on Knowledge and Data Engineering, 22(10), 1345–1359.

    DOI kaynağını aç
    Kopyalandı.
  2. Bengio, Y. (2012). Deep Learning of Representations for Unsupervised and Transfer Learning. In Proceedings of ICML Workshop on Unsupervised and Transfer Learning, PMLR 27, 17–36.

    Yayın kaynağını aç
    Kopyalandı.