İçeriğe atla
Arama sonuçlarına dön

Az sayıda örnekle öğrenme

Ortaya koyan
Lake, B. M.; Vinyals, O.; Finn, C. et al.
Yıl
2011–2017
Tür
Meta-learning / low-data learning paradigm
Aile
Machine learning

Bu metin makine çevirisidir ve henüz incelenmedi. Asıl metni İngilizce oku

Yazı boyutu

Ne işe yarar?

Az sayıda örnekle öğrenme, önceden edinilmiş geniş ve ilgili bir eğitim dağılımından elde edilen bilgileri kullanarak, yalnızca birkaç etiketli örnekten — tipik olarak birden beşe kadar — yeni sınıfları tanıyan veya yeni görevleri çözen modelleri eğiten bir makine öğrenmesi paradigmasıdır.

Etiketlemenin pahalı, nadir veya yapısal olarak sınırlı olduğu alanlarda özellikle önemlidir.

Yöntemin mantığı

İnsanlar, yıllarca süren deneyimlerinden zengin görsel bilgi biriktirdikleri için, tek bir fotoğraftan yeni bir kuş türünü güvenilir bir şekilde tanımlayabilirler. Az sayıda örnekle öğrenme, bu yeteneği hesaplamalı olarak taklit etmeye çalışır: bir model önce birçok farklı görevle karşılaşır, böylece hızlı öğrenmeyi öğrenir, ardından çıkarım zamanında yalnızca çok küçük etiketli bir destek kümesi kullanarak tamamen yeni bir göreve uyum sağlar. Temel fikir, doğru temsil ve uyum stratejisinin, standart denetimli öğrenmenin gerektirdiği büyük etiketli veri kümesinin yerini alabileceğidir.

Tarih

Az sayıda örnekle öğrenme, Lake ve diğerlerinin (2011) hiyerarşik bir Bayes programı indüksiyon modeli kullanarak insan düzeyinde tek örnekle el yazısı karakter öğrenmesini göstermesiyle yaklaşık 2011'de resmi ilgi gördü. Alan, 2016'dan sonra Vinyals ve diğerlerinin Eşleştirme Ağları ve Snell ve diğerlerinin Prototip Ağları gibi derin metrik öğrenme yaklaşımlarıyla hızlandı, ardından 2017'de Finn ve diğerlerinin modelden bağımsız meta öğrenmesi (MAML) geldi ve bu, gradyan tabanlı hızlı uyum altında paradigmayı birleştirdi. Büyük önceden eğitilmiş modeller o zamandan beri az sayıda örnekle öğrenmeyi modern NLP ve görsel sistemlerde standart bir yetenek haline getirdi.

Ne zaman kullanılır?

Hedef görev için etiketli verinin gerçekten az olduğu — sınıflar başına kabaca 10 ila 20'den az örnek — ancak ön eğitim veya meta eğitim için büyük ve ilgili bir veri kümesinin mevcut olduğu durumlarda az sayıda örnekle öğrenmeyi kullanın. Tipik kullanım durumları arasında nadir hastalık sınıflandırması, nesli tükenmekte olan türlerin tanınması, düşük kaynaklı dil görevleri ve soğuk başlangıçlı kullanıcılarla kişiselleştirilmiş öneriler yer alır. Etiketlemenin mümkün olduğu durumlarda daha fazla etiketli veri toplamanın yerine kullanmayın; yeterli etiketle, tam denetimli veya ince ayarlanmış transfer öğrenme neredeyse her zaman az sayıda örnekle öğrenme yöntemlerinden daha iyi performans gösterir. Ayrıca, meta eğitim dağılımı hedef alandan çok farklıysa kaçının, çünkü bu öğrenilen ön bilgiyi geçersiz kılar.

Sınırlar ve dikkat edilmesi gerekenler

  • Büyük, çeşitli bir meta eğitim seti gerektirir; meta eğitim ve hedef dağılımları önemli ölçüde farklılaştığında performans keskin bir şekilde düşer.
  • Optimizasyon tabanlı yöntemler (örneğin, MAML), ikinci dereceden gradyanlar nedeniyle meta eğitim sırasında hesaplama açısından yoğundur.
  • Standart veri kümelerindeki (miniImageNet, Omniglot) kıyaslama doğruluğu, test alanı farklıysa gerçek dünya performansını abartabilir.
  • Doğru mimariyi, gömme omurgasını ve bölüm örnekleme stratejisini seçmek, önemsiz olmayan hiperparametre kararları içerir.
  • Sınıf başına yaklaşık 20'den fazla etiketli örnekle, standart transfer öğrenme veya ince ayar genellikle daha az karmaşıklıkla daha iyi doğruluk sunar.

Kaynak metnin koşulları, bağımsız bilimsel inceleme veya analiz motoru doğrulaması yerine geçmez.

Güçlü yönleri

  • Sınıf başına bir ila beş etiketli örnekten pratik öğrenmeyi etkinleştirir, bu da etiketleme maliyetini önemli ölçüde azaltır.
  • Bölümsel eğitim, modeli karşılaşacağı düşük veri dağıtım senaryosu için açıkça hazırlar.
  • Metrik tabanlı varyantlar (Prototip Ağları, Eşleştirme Ağları) çıkarım sırasında hesaplama açısından hafiftir — gradyan adımı gerekmez.
  • Görsel, NLP, ses ve yapılandırılmış veri görevlerinde geniş çapta uygulanabilir.
  • Büyük önceden eğitilmiş modellerle doğal olarak bütünleşir, bu da tam ince ayar yapmadan güçlü ön bilgilerin kullanılmasını sağlar.

Uygulama alanları

  • Etiketli vakaların doğal olarak az olduğu tıbbi görüntülemede nadir hastalık veya anomali sınıflandırması.
  • Yeni dillerde veya alanlarda niyet tespiti gibi düşük kaynaklı doğal dil işleme görevleri.
  • Yeni bir kullanıcının çok az etkileşiminin olduğu durumlarda öneri sistemlerinde soğuk başlangıç kişiselleştirmesi.
  • Ekoloji ve biyoçeşitlilik izlemede nesli tükenmekte olan türler veya ince taneli türlerin tanınması.
  • Eğitim için yalnızca az sayıda kusurlu numunenin mevcut olduğu endüstriyel kusur tespiti.
  • Robotik ve etkileşimli makine öğrenmesinde yeni sınıflandırma görevlerinin hızlı prototiplenmesi.

Nasıl çalışır?

Nasıl çalışır?

1

Eğitim, her biri az sayıda örnekle öğrenme senaryosunu simüle eden bölümler halinde düzenlenir. Her bölümde, eğitim havuzundan küçük bir sınıf kümesi örneklenir ve modelin bunları ayırt etmeyi öğrenmesi gerekir. Bu bölümsel eğitim, modelin ön bilgisinin belirli sınıfları ezberlemek yerine hızlı uyum için yapılandırılmasını sağlar.

2

Her bölüm, örneklerini bir destek kümesine (modelin kullanabileceği az sayıda etiketli örnek) ve bir sorgu kümesine (modelin ne kadar iyi genelleme yaptığını ölçmek için kullanılan ayrılmış örnekler) ayırır. k-örnekli, n-yollu bir görev, her biri n yeni sınıf için k etiketli örnek sağlar. Bu yapı, eğitim zamanında dağıtım senaryosunu yansıtır.

3

Model, girdileri aynı sınıftaki örneklerin kümelendiği ve farklı sınıftaki örneklerin ayrıldığı bir özellik uzayına eşleyen bir gömme işlevi — tipik olarak derin bir sinir ağı — öğrenir. Bu paylaşılan temsilin kalitesi, sonraki az sayıda örnekle öğrenme doğruluğunun birincil belirleyicisidir.

4

Test zamanında model, sorgu gömmeleri ile destek gömmeleri arasındaki benzerlikleri hesaplar (Eşleştirme Ağları veya Prototip Ağları gibi metrik tabanlı yöntemler) veya parametrelerini destek kümesine uyarlamak için az sayıda gradyan adımı gerçekleştirir (MAML gibi optimizasyon tabanlı yöntemler). Her iki strateji de sıfırdan yeniden eğitime gerek kalmadan öğrenilen temsilden yararlanır.

5

Sorgu kümesindeki kayıp, bölümler boyunca meta-öğrenicinin parametrelerini güncellemek için kullanılır, böylece temsil ve uyum stratejisi küresel olarak iyileşir. Dağıtımda, son model herhangi bir yeni destek kümesine saniyeler içinde uyum sağlar ve daha fazla optimizasyon olmadan görülmemiş sorgu örnekleri üzerinde tahminler yapar.

Sık yapılan hatalar

  • Az sayıda örnekle öğrenme ile sıfır örnekle öğrenmeyi karıştırmak: az sayıda örnekle öğrenme, test zamanında yeni sınıflar için en az bir etiketli örnek gerektirir.
  • Meta eğitim sırasında görülen test sınıflarında değerlendirme yapmak, bildirilen doğruluğu şişirir.
  • Alan farkını göz ardı etmek: ImageNet üzerinde meta eğitilmiş bir model, alan uyarlaması olmadan tıbbi histolojiye otomatik olarak genelleme yapmaz.
  • Bölümsel eğitim ve az sayıda örnekle genelleme beklentisi olmadan standart bir denetimli kayıp kullanmak.
  • Az sayıda örnekle sonuçlardaki varyansı gizleyen, birden fazla bölüm çizimi üzerinde güven aralıkları olmadan yalnızca en iyi-1 doğruluğu bildirmek.

Sık sorulan sorular

Az sayıda örnekle öğrenme ile transfer öğrenme arasındaki fark nedir?

Transfer öğrenme, önceden eğitilmiş bir modeli yeni bir görev üzerinde ince ayar yapar ve tipik olarak sınıflar başına on ila binlerce etiketli örnekten yararlanır. Az sayıda örnekle öğrenme, modelin belirli bir alana nasıl uyum sağlayacağını değil, hızlı bir şekilde nasıl genelleme yapacağını öğrenmesi için bölümsel meta eğitim kullanarak yalnızca sınıflar başına bir ila beş örnekle uyum sağlamak üzere özel olarak tasarlanmıştır.

k-örnekli n-yollu ne anlama geliyor?

Bölüm yapısını tanımlar: n-yollu, aynı anda sunulan n yeni sınıf anlamına gelir ve k-örnekli, her sınıf için k etiketli örnek sağlandığı anlamına gelir. 5-yollu 1-örnekli bir görev, modelden, her biri için yalnızca tek bir etiketli örnek verildiğinde sorgu görüntülerini beş kategoriden birine sınıflandırmasını ister.

Az sayıda örnekle öğrenme çalıştırmak için GPU'ya ihtiyacım var mı?

Meta eğitim — özellikle MAML gibi optimizasyon tabanlı yöntemler — önemli miktarda hesaplama gerektirir ve tipik olarak GPU'larda yapılır. Ancak, metrik tabanlı çıkarım (sorgu gömmelerini destek prototipleriyle karşılaştırma) ucuzdur ve omurga önceden eğitildikten sonra üretimde CPU'da çalışabilir.

Kaç tane meta eğitim görevine ihtiyacım var?

Bu, mutlak sayıdan ziyade çeşitliliğe bağlıdır. Çeşitli bir sınıf havuzundan bölümsel olarak örneklenmiş birkaç bin görev yaygın bir temeldir. En önemli şey, meta eğitim sınıflarının görülmemiş hedef sınıflara genelleme yapacak kadar çok ve çeşitli olmasıdır.

Az sayıda örnekle öğrenme ile sıfır örnekle öğrenme aynı mı?

Hayır. Sıfır örnekle öğrenme, test zamanında yeni sınıflardan etiketli örnek gerektirmez ve tamamen anlamsal sınıf tanımlayıcılarına veya özniteliklerine dayanır. Az sayıda örnekle öğrenme, destek kümesindeki yeni sınıf başına en az bir etiketli örnek sağlar.

İlgili yöntemler

Kaynaklar

  1. Vinyals, O., Blundell, C., Lillicrap, T., Wierstra, D., & Kavukcuoglu, K. (2016). Matching Networks for One Shot Learning. Advances in Neural Information Processing Systems (NeurIPS), 29.

    Yayın kaynağını aç
    Kopyalandı.
  2. Finn, C., Abbeel, P., & Levine, S. (2017). Model-Agnostic Meta-Learning for Fast Adaptation of Deep Networks. Proceedings of the 34th International Conference on Machine Learning (ICML), PMLR 70:1126–1135.

    Yayın kaynağını aç
    Kopyalandı.