Öz-denetimli Öğrenme
- Ortaya koyan
- LeCun, Y. and community (formalized ~2018–2020)
- Yıl
- 2018–2020
- Tür
- Representation learning paradigm
- Aile
- Machine learning
Bu metin makine çevirisidir ve henüz incelenmedi. Asıl metni İngilizce oku
Ne işe yarar?
Öz-denetimli öğrenme (SSL), etiketlenmemiş verilerden doğrudan kendi denetleyici sinyalini, metinlerdeki maskelenmiş kelimeleri tahmin etmek, görüntüleri döndürmek veya artırılmış görünümleri karşılaştırmak gibi yardımcı bir ön görev (pretext task) tanımlayarak üreten ve öğrenilen temsilleri, minimum etiketli örnekle aşağı akış görevleri için güçlü bir başlangıç noktası olarak kullanan bir makine öğrenmesi paradigmasıdır.
Yöntemin mantığı
Gerçek dünyadaki verilerin çoğu etiketlenmemiştir. Öz-denetimli öğrenme, bu bolluğu bir eğitim kaynağına dönüştürür; modelin yalnızca verinin kendisini kullanarak çözmesi gereken bir meydan okuma icat ederek — örneğin, bir cümlenin bir kısmını gizleyip modelden onu tahmin etmesini istemek gibi. Bu meydan okumayı çözmek, modelin zengin iç temsiller oluşturmasını zorlar. Temsiller yeterince iyi olduğunda, modeli belirli bir göreve uyarlamak için yalnızca az miktarda etiketli veri gerekir, bu da etiketleme maliyetini önemli ölçüde azaltır.
Tarih
Etiketlenmemiş verilerden vekil görevler aracılığıyla öğrenme kavramı derin öğrenmeden önceye dayanır, ancak öz-denetimli öğrenme, 2018-2020 civarında NLP'de BERT (Devlin ve ark., 2018) ve bilgisayar vizyonunda MoCo / SimCLR ile öne çıkan bir ad olarak ortaya çıktı. Yann LeCun, 2022'de SSL'yi 'zekanın karanlık maddesi' olarak tanımlayarak terimi ve vizyonu destekledi. Bugün, neredeyse tüm büyük dil modellerine ve vizyon temel modellerine temel oluşturmaktadır.
Ne zaman kullanılır?
Hedef alanınızda büyük bir etiketlenmemiş veri kümesine sahip olduğunuz ancak etiketlemenin pahalı veya yavaş olduğu durumlarda öz-denetimli öğrenmeyi seçin — tıbbi görüntüleme, NLP, uydu görüntüleri ve bilimsel verilerde yaygındır. Büyük ölçekli temel modeller (BERT, GPT, DINO) oluştururken veya aşağı akış etiketli kümeler küçük olduğunda standart yaklaşımdır. Etiketlenmemiş küme çok küçükse (birkaç bin örneğin altında), ön görev aşağı akış göreviyle eşleşmiyorsa veya hesaplama kaynakları ciddi şekilde kısıtlıysa SSL'den kaçının — bu durumlarda, mevcut etiketler üzerindeki denetimli öğrenme veya genel bir kontrol noktasından geleneksel transfer öğrenmesi daha pratiktir.
Sınırlar ve dikkat edilmesi gerekenler
- Büyük modellerin ön eğitimi, önemli miktarda hesaplama (günlerce haftalarca GPU/TPU) ve büyük etiketlenmemiş kümeler gerektirir.
- Ön görev tasarımı önemsiz değildir; kötü seçilmiş bir görev, iyi aktarılmayan temsiller üretebilir.
- İnce ayar kararlılığı, öğrenme oranı ve çözülmemiş katman sayısı hassas olabilir.
- Değerlendirme dolaylıdır: ön görev performansı, aşağı akış görevi performansını garanti etmez.
- Ön eğitim kümesi ile hedef alan arasındaki alan farkı kazanımları sınırlayabilir.
Kaynak metnin koşulları, bağımsız bilimsel inceleme veya analiz motoru doğrulaması yerine geçmez.
Güçlü yönleri
- Etiketlenmemiş verilerin büyük miktarlarını kullanır, bu da onu büyük küme ön eğitimi için en ölçeklenebilir yaklaşım haline getirir.
- Az miktarda ince ayar verisiyle birçok aşağı akış görevine iyi aktarılan genel amaçlı temsiller üretir.
- İnsan etiketleri yerine veri yapısından denetim üreterek etiketleme maliyetini önemli ölçüde azaltır.
- En son teknoloji temel modeller (BERT, GPT, DINO, MAE) öz-denetimli hedeflere dayanmaktadır.
- Çapraz modal ön görevler (örneğin, CLIP) tasarlayarak doğal olarak çok modlu verileri işler.
- Herhangi bir ince ayar yapmadan alma, kümeleme ve anomali tespiti için kullanışlı zengin gömülmeler (embeddings) sağlar.
Uygulama alanları
- Sınıflandırma ve soru yanıtlama gibi NLP görevleri için büyük dil modellerinin (BERT, GPT, T5) ön eğitimi.
- Görüntü tanıma, segmentasyon ve alma için vizyon temel modelleri (DINO, MAE, SimCLR).
- Etiketli taramaların az olduğu ancak etiketlenmemiş görüntülerin bol olduğu tıbbi görüntü analizi.
- ASR ve konuşmacı doğrulama için konuşma ve ses temsil öğrenmesi (wav2vec, HuBERT).
- İlaç keşfi için moleküler ve protein temsil öğrenmesi (ChemBERTa, ESM).
- Etiketli anomaliler olmadan gömülme benzerliği yoluyla anomali tespiti ve alma.
Nasıl çalışır?
Nasıl çalışır?
Bir ön (yardımcı) görev, etiketlerinin verinin yapısından ücretsiz olarak geldiği şekilde tasarlanır — örneğin, metinde maskelenmiş belirteç tahmini (BERT), videoda bir sonraki kare tahmini veya aynı görüntünün farklı şekilde artırılmış görünümleri arasındaki benzerliği en üst düzeye çıkarma (SimCLR, MoCo). Bu aşama için insan etiketlemesi gerekmez.
Bir sinirsel kodlayıcı, her bir girdiyi x'i yoğun bir temsile z = f(x; θ) eşler. Kodlayıcı mimarisi modaliteye göre değişir: metin ve vizyon için Transformer'lar, ses için evrişimli ağlar veya moleküler veriler için graf sinir ağları. Bu temsil, aşağı akış görevlerine bilgi taşıyan şeydir.
Formül
z = f_{\theta}(x)Model, ön görevi ne kadar iyi çözdüğünü ölçen bir kayıp fonksiyonunu — maskelenmiş tahmin için çapraz entropi, görünüm anlaşması için karşılaştırmalı kayıp (InfoNCE) veya otomatik kodlayıcılar için yeniden yapılandırma hatası — en aza indirmek için eğitilir. Bu kaybı en aza indirmek, temsili faydalı anlamsal yapıyı yakalayacak şekilde şekillendirir.
Ön eğitim yakınsadıktan sonra, kodlayıcı ağırlıkları aşağı akış görevine aktarılır. Hafif bir sınıflandırma veya regresyon başlığı eklenir ve tüm model (veya yalnızca başlık) küçük bir etiketli veri kümesi üzerinde ince ayarlanarak, çok daha fazla etiketli veri üzerinde eğitilmiş tam denetimli modellere kıyasla rekabetçi doğruluk elde edilir.
Sık yapılan hatalar
- Aşağı akış görevi anlambilimiyle uyumu hakkında akıl yürütme olmaksızın bir ön görev seçimi.
- Etiketlenmemiş, çok küçük veya hedef alanı temsil etmeyen bir küme kullanmak, zayıf temsiller üretir.
- Tüm katmanları yüksek bir öğrenme oranıyla ince ayarlamak ve önceden eğitilmiş temsili feci bir şekilde unutmak.
- Yalnızca ince ayardan sonra aşağı akış doğruluğunu raporlamak, ön eğitim ile doğrudan denetim arasındaki değeri azaltmadan.
- Karşılaştırmalı yöntemlerde veri artırma tasarımını göz ardı etmek, bu da temsil kalitesi için kritiktir.
Sık sorulan sorular
Öz-denetimli ve denetimsiz öğrenme arasındaki fark nedir?
Her ikisi de etiketlenmemiş verileri kullanır, ancak öz-denetimli öğrenme, veri yapısından belirli bir denetleyici sinyal oluşturur (örneğin, maskelenmiş belirteçler, artırılmış görünümler) ve tanımlanmış bir kayıp fonksiyonuyla eğitilir. Klasik denetimsiz öğrenme (kümeleme, PCA) ise herhangi bir açık tahmin hedefi olmadan yapı bulur.
Sıfırdan ön eğitime ihtiyacım var mı yoksa mevcut bir kontrol noktasını kullanabilir miyim?
Çoğu uygulamalı proje için, halka açık bir kontrol noktasını (örneğin, Hugging Face'ten BERT, Meta'dan DINO) ince ayarlamak, sıfırdan ön eğitime göre çok daha pratiktir. Sıfırdan ön eğitim, yalnızca alanınız çok özel olduğunda (örneğin, klinik metin) ve mevcut kontrol noktaları iyi aktarılmadığında haklı çıkar.
Ne kadar etiketlenmemiş veri gerekiyor?
Ön eğitim için ne kadar çoksa o kadar iyidir, ancak etkili alan-özel SSL, daha küçük modeller için on binlerce etiketlenmemiş örnekle gösterilmiştir. Eşik, model boyutuna ve ön görev karmaşıklığına büyük ölçüde bağlıdır.
Karşılaştırmalı bir ön görev nedir?
Karşılaştırmalı ön görevler (SimCLR, MoCo), aynı örneğin iki farklı şekilde artırılmış görünümünü oluşturur ve kodlayıcıyı, görünümlerin temsil alanında benzer olmasını, diğer örneklerin temsillerinden farklı olmasını sağlayacak şekilde eğitir. Bu, modeli artırmaya karşı değişmez hale getirirken anlamsal içeriği korumayı öğretir.
Öz-denetimli öğrenme tablo verileri için uygun mu?
Evet, ancak kazanımlar görüntü veya metin için olduğundan daha azdır. SCARF, TabNet ön eğitimi ve maskelenmiş özellik tahmini gibi yaklaşımlar, etiketli tablo verilerinin az olduğu durumlarda fayda sağlamıştır, ancak makul etiket kullanılabilirliğine sahip tipik tablo veri kümeleri için, denetimli topluluk yöntemleri hala baskındır.
İlgili yöntemler
Kaynaklar
LeCun, Y. & Misra, I. (2022). Self-supervised learning: The dark matter of intelligence. Meta AI Blog. https://ai.facebook.com/blog/self-supervised-learning-the-dark-matter-of-intelligence/
Yayın kaynağını açKopyalandı.Self-supervised learning. Wikipedia.
Yayın kaynağını açKopyalandı.