Aktif Öğrenme ile Öz-Denetimli Öğrenme
- Ortaya koyan
- Multiple authors (active learning + SSL integration, 2020s)
- Yıl
- 2020-2022
- Tür
- Hybrid learning paradigm
- Aile
- Machine learning
Bu metin makine çevirisidir ve henüz incelenmedi. Asıl metni İngilizce oku
Ne işe yarar?
Aktif öğrenme ile öz-denetimli öğrenmenin birleştirilmesi, etiketlenmemiş verileri öz-denetimli ön eğitim yoluyla zengin temsiller oluşturmak için kullanır, ardından insan etiketlemesi için en bilgilendirici örnekleri seçmek üzere aktif sorgu stratejisi kullanır ve sıkı bir etiketleme bütçesi altında model performansını en üst düzeye çıkarır.
Bu hibrit yaklaşım, etiketlenmiş verinin kıt olduğu ancak büyük etiketlenmemiş veri havuzlarının bulunduğu durumlarda özellikle güçlüdür.
Yöntemin mantığı
Öz-denetimli öğrenme, maskelenmiş yamaların tahmin edilmesi veya artırılmış görünümlerin karşılaştırılması gibi öncel görevleri çözerek ham, etiketlenmemiş verilerden faydalı temsiller çıkarabilir. Bu şekilde güçlü bir kodlayıcı önceden eğitildikten sonra, aktif öğrenme devreye girer: her şeyi etiketlemek yerine, bir oracle'dan yalnızca en belirsiz veya en temsili etiketlenmemiş örnekler hakkında bilgi istenir. Kodlayıcının zengin gömme uzayı, belirsizlik ve çeşitlilik sorgularını rastgele başlatılmış bir modelden çok daha doğru hale getirir, böylece her etiketlenmiş örnek daha fazla iyileşme sağlar. Döngü daha sonra, her yeni etiket grubuna ince ayar yaparak tekrarlanır.
Tarih
Aktif öğrenme 1990'larda (Cohn et al., 1996) kök salmış ve öz-denetimli öğrenme 2010'larda karşıtsal yöntemlerle öne çıkmıştır. 2020-2022'de büyük etiketlenmemiş veri kümeleri ve güçlü SSL kodlayıcıları (SimCLR, MoCo, MAE) yaygın olarak kullanılabilir hale geldikçe entegrasyonları hızlandı. Araştırmacılar, SSL ön eğitiminin aktif sorgu stratejilerinin dayandığı gömme kalitesini önemli ölçüde iyileştirdiğini buldular ve bu da bilgisayar görüşü ve NLP'de incelenen birleşik AL-SSL çerçeveleri ailesine yol açtı. Kombinasyon, özellikle düşük kaynaklı ve etiketleme kısıtlı ortamlarda artık aktif bir araştırma sınırıdır.
Ne zaman kullanılır?
Büyük bir etiketlenmemiş veri kümeniz ve manuel etiketleme için katı bir bütçeniz varsa ve ham özellikler öz-denetimli ön eğitimin önemli temsili değer kattığı kadar karmaşıksa (görüntüler, metin, ses, yüksek boyutlu sinyaller), bu kombinasyonu kullanın. Tıbbi görüntüleme, belge sınıflandırma ve uzak algılama gibi uzman etiketlemenin pahalı olduğu alanlarda üstündür. Etiketlenmiş veri kümeniz zaten büyük ve temsili ise, veri alanı SSL ön eğitiminin çok az fayda sağladığı basit tablo verileri ise veya hesaplama bütçesi ciddi şekilde kısıtlıysa — büyük kodlayıcıların SSL ön eğitimi hesaplama açısından yoğundur — KULLANMAYIN. Ayrıca, etiketlenmemiş havuz etiketlenmiş verilere kıyasla küçükse kaçının.
Sınırlar ve dikkat edilmesi gerekenler
- Öz-denetimli ön eğitim, özellikle Vision Transformers gibi büyük kodlayıcı mimarileri için hesaplama açısından pahalı olabilir.
- Aktif öğrenme, sıralı veri alımını getirir, paralelliği zorlaştırır ve genel etiketleme iş akışını uzatır.
- Öz-denetimli ön eğitim alanı ve hedef görev alanı önemli ölçüde farklılaşırsa, kodlayıcı temsilleri sorgu seçimi için yanıltıcı olabilir.
- Dikkatli tasarım gerektirir: edinme işlevi, kodlayıcı mimarisi ve gömme uzayı ile uyumlu olmalıdır.
Kaynak metnin koşulları, bağımsız bilimsel inceleme veya analiz motoru doğrulaması yerine geçmez.
Güçlü yönleri
- Sadece denetimli veya sadece aktif öğrenme yaklaşımlarına kıyasla hedeflenen bir doğruluğa ulaşmak için gereken etiket sayısını önemli ölçüde azaltır.
- Öz-denetimli temsiller, en başından itibaren anlamlı gömme mesafeleri ve belirsizlik tahminleri sağlayarak aktif sorguların kalitesini artırır.
- Alanlar arasında iyi aktarılır: bir alandaki etiketlenmemiş veriler üzerinde önceden eğitilmiş öz-denetimli bir kodlayıcı, ilgili bir hedef alandaki aktif öğrenmeyi başlatabilir.
- Geleneksel aktif öğrenme edinme işlevlerinin ham özellikler üzerinde kötü performans gösterdiği yüksek boyutlu yapılandırılmamış verileri (görüntüler, metin, ses) işler.
- İki paradigma birbirini güçlendirir: daha iyi temsiller sorgu seçimini iyileştirir; daha iyi etiketlenmiş veriler temsilleri iyileştirir.
Uygulama alanları
- Radyolog zamanının kıt olduğu ve büyük etiketlenmemiş tarama arşivlerinin bulunduğu tıbbi görüntü etiketleme.
- Sınırlı etiketlenmiş veri kümeleri ancak bol miktarda ham metin içeren belge ve metin sınıflandırma.
- Etiketleme bütçesi kısıtlamaları altında uzak algılama ve uydu görüntü sınıflandırma.
- Etiketlenmiş kusur örneklerinin nadir olduğu ancak normal üretim görüntülerinin bol olduğu endüstriyel kusur tespiti.
- Büyük etiketlenmemiş ses arşivleri ve pahalı transkripsiyon ile konuşma ve ses sınıflandırma.
- Islak laboratuvar deneyleri için en bilgilendirici moleküler yapıların seçilmesi: İlaç keşfi.
Nasıl çalışır?
Nasıl çalışır?
Bir öz-denetimli kodlayıcı, tam etiketlenmemiş havuz üzerinde bir öncel görev kullanılarak önceden eğitilir — örneğin, karşıtsal öğrenme (SimCLR, MoCo), maskelenmiş otomatik kodlayıcılar (MAE) veya döndürme tahmini. Bu aşamada insan etiketlerine gerek yoktur; amaç, anlamsal olarak benzer örneklerin bir araya geldiği bir özellik uzayı elde etmektir.
Aktif öğrenme edinme işlevi — örneğin, en az güven, entropi örneklemesi, BADGE veya çekirdek küme seçimi — mevcut kodlayıcının tahminlerini veya gömmelerini kullanarak her etiketlenmemiş örneği değerlendirir. En bilgilendirici olduğu tahmin edilen örnekler (belirsiz veya keşfedilmemiş bölgelerin en temsili olanları) sıralanır ve etiketleme için bir bütçe boyutunda bir yığın seçilir.
Seçilen yığın, yer gerçeği etiketlerini sağlayan bir insan etiketleyiciye (oracle) sunulur. Bu, etiketleme maliyetini oluşturan tek adımdır, bu nedenle sorgu stratejisinin kalitesi doğrudan etiketleme verimliliğini belirler.
Kodlayıcı, şimdiye kadar birikmiş tüm etiketlenmiş örnekler üzerinde ince ayarlanır (veya yeni bir sınıflandırma başlığı eğitilir). Doğrusal değerlendirme ve ardından tam ince ayar gibi düzenlileştirme teknikleri, önceden eğitilmiş temsilleri korurken küçük etiketlenmiş küme üzerindeki aşırı uyumu önlemeye yardımcı olur.
Etiketleme bütçesi tükendiğinde veya performans hedefi ulaşıldığında sorgu-etiket-ince ayar döngüsü tekrarlanır. Havuz dinamikse, kodlayıcı isteğe bağlı olarak turlar arasında yeni etiketlenmemiş verilerle güncellenir.
Sık yapılan hatalar
- SSL ön eğitiminden sonra jenerik bir edinme işlevi (örneğin, rastgele örnekleme) kullanmak ve bunu aktif öğrenme olarak adlandırmak — sorgu stratejisi ek kazanç sağlar.
- Yalnızca tüm etiketleme turlarından sonra son modelin değerlendirilmesi, erken sorguların gerçekten bilgilendirici olup olmadığını gizler.
- Etiketlenmemiş havuz ile etiketleme oracle'ı arasındaki dağılım kaymasını göz ardı etmek, bu da seçim yanlılığına neden olabilir.
- Etiketleme maliyetini birincil karşılaştırma ekseni olarak izlemeyi unutmak — kazanımlar yalnızca nihai doğruluk yerine doğruluk ve etiketleme bütçesi arasındaki ilişki olarak ölçülmelidir.
- İnce ayar sırasında ön eğitimle aynı öğrenme oranı çizelgesini uygulamak, bu da önceden eğitilmiş temsilleri bozabilir.
Sık sorulan sorular
Her aktif öğrenme turundan sonra öz-denetimli ön eğitimi yeniden çalıştırmam gerekiyor mu?
Zorunlu değil. En yaygın uygulama, tam etiketlenmemiş havuz üzerinde bir kez ön eğitim yapmak, ardından kodlayıcıyı her yeni etiketlenmiş yığınla artımlı olarak ince ayar yapmaktır. Her turda tam SSL ön eğitimini yeniden çalıştırmak hesaplama açısından imkansızdır; bazı çalışmalar AL döngüsü sırasında temsilleri uyarlamak için hafif SSL güncellemeleri (örneğin, çevrimiçi karşıtsal öğrenme) kullanır.
Hangi aktif öğrenme edinme işlevi SSL ile en iyi şekilde çalışır?
Çekirdek küme seçimi, BADGE (Batch Active learning by Diverse Gradient Embeddings) ve kümeleme tabanlı çeşitlilik örneklemesi gibi gömme tabanlı stratejiler, SSL gömme uzayının anlamlı geometrisinden yararlandıkları için en iyi şekilde çalışır. Softmax çıktıları üzerindeki düz entropi örneklemesi de SSL'den fayda sağlar ancak rastgeleye göre daha az kazanç sağlar.
Bu, yarı denetimli öğrenmeden nasıl farklıdır?
Yarı denetimli öğrenme, eğitim sırasında tüm etiketlenmemiş verileri pasif olarak kullanır. SSL ile aktif öğrenme etkileşimlidir: bir oracle'a etiketleme için sunulacak etiketlenmemiş örnekleri stratejik olarak seçer ve modeli yalnızca bu seçilen etiketlerle günceller. Temel fark, sıralı, bütçe farkındalığı olan etiketleme döngüsüdür.
Tablo verileri bu yaklaşıma uygun mu?
Genellikle hayır. Tablo verileri üzerinde öz-denetimli ön eğitim, doğal bir artırma veya yama maskeleme stratejisi olmadığı için görüntülere veya metinlere kıyasla mütevazı bir fayda sağlar. Tablo verileri için, geleneksel bir denetimli model (örneğin, lojistik regresyon veya rastgele orman) ile düz aktif öğrenme genellikle daha verimli ve yorumlanabilirdir.
Hangi metrikleri raporlamalıyım?
Yalnızca nihai doğruluk yerine, etiketleme bütçesinin (oracle sorgularının sayısı) bir fonksiyonu olarak doğruluğu (veya F1, AUC) raporlayın. Rastgele örnekleme taban çizgisini ve mümkünse tam denetimli bir üst sınırı dahil edin. Bu etiketleme verimliliği eğrisi, herhangi bir aktif öğrenme değerlendirmesinin birincil katkısıdır.
İlgili yöntemler
Kaynaklar
Bengar, J. Z., van de Weijer, J., Fuentes, L. L., & Raducanu, B. (2022). Class-Balanced Active Learning for Image Classification. Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision (WACV), 3082–3091.
Yayın kaynağını açKopyalandı.Wang, K., Zhang, D., Li, Y., Zhang, R., & Lin, L. (2016). Cost-Effective Active Learning for Deep Image Classification. IEEE Transactions on Circuits and Systems for Video Technology, 27(12), 2591–2600.
DOI kaynağını açKopyalandı.