İçeriğe atla
Arama sonuçlarına dön

Aktif Öğrenme Oy Birliği Topluluğu

Ortaya koyan
Seung, H. S., Opper, M., & Sompolinsky, H.
Yıl
1992
Tür
Active learning with ensemble voting
Aile
Machine learning

Bu metin makine çevirisidir ve henüz incelenmedi. Asıl metni İngilizce oku

Yazı boyutu

Ne işe yarar?

Aktif Öğrenme Oy Birliği Topluluğu — resmi olarak Komite Sorgulama olarak da bilinir — çeşitli modellerden oluşan bir komite eğiten ve insan etiketlemesi için en çok anlaşmazlığa düşen etiketlenmemiş örnekleri seçen bir aktif öğrenme stratejisidir.

Etiketleme çabasını en bilgilendirici noktalara odaklayarak, pasif öğrenmenin gerektirdiğinden çok daha az etiketlenmiş örnekle yüksek doğruluk elde eder.

Yöntemin mantığı

Beş uzmandan etiketlenmemiş bir örneği sınıflandırmasını istemeyi hayal edin. Dördü hemfikir olup biri itiraz ederse, cevap muhtemelen nettir — etiket için ödeme yapmaya gerek yoktur. Ancak üç-iki şeklinde bölünürlerse, o örnek karar sınırında oturur ve onu etiketlemek tüm modellere en çok şeyi öğretecektir. Aktif öğrenme oy birliği topluluğu bu sezgiyi hassaslaştırır: bir model komitesi oluşturun, oy kullandırtın ve yalnızca oy yakın olduğunda etiketler için ödeme yapın. Sonuç, küçük bir etiketleme bütçesini mümkün olduğunca uzağa taşıyan yüksek verimli bir öğrenme döngüsüdür.

Tarih

Komite Sorgulama (QBC) çerçevesi, versiyon uzay komiteleriyle aktif öğrenmeye yönelik ilkeli bir yaklaşım olarak 1992'de COLT'ta Seung, Opper ve Sompolinsky tarafından tanıtıldı. Veri toplamayı yönlendirmek için topluluk anlaşmazlığını kullanmanın ilk teorik açıklamalarından biriydi ve komite tabanlı aktif öğrenme için kanonik referans olmaya devam ediyor. Daha geniş aktif öğrenme literatürü, havuz tabanlı, akış tabanlı ve üyelik sorgulama senaryolarını sistematize eden ve QBC'yi belirsizlik örneklemesiyle birlikte temel bir strateji olarak kuran Burr Settles'ın geniş çapta alıntılanan 2009 teknik incelemesinde pekiştirildi.

Ne zaman kullanılır?

Etiketlemenin pahalı veya zaman alıcı olduğu durumlarda aktif öğrenme oy birliği topluluğunu kullanın — klinik etiketleme, yasal belge etiketleme, özel görüntü incelemesi — ve küçük bir etiketlenmiş tohum kümesinin yanı sıra büyük bir etiketlenmemiş veri havuzu mevcuttur. Komite anlaşmazlığının anlamlı bir sinyal olduğu sınıflandırma görevleri için ve en az 3-5 çeşitli modelin sahaya sürülebileceği durumlarda iyi çalışır. Etiketlerin ucuz ve bol olduğu durumlarda (o zaman tam veri kümesinde pasif öğrenme eşit veya daha verimli olacaktır), etiketlenmemiş havuzun çok küçük olduğu, gerçek zamanlı çevrimiçi etiketlemenin mümkün olmadığı veya bir topluluk yerine tek, yorumlanabilir bir modelin gerekli olduğu durumlarda bundan kaçının.

Sınırlar ve dikkat edilmesi gerekenler

  • Altyapı karmaşıklığı ekleyen bir etiketleme döngüsü gerektirir: bir havuz yöneticisi, oracle arayüzü ve yeniden eğitim işlem hattı.
  • Performans büyük ölçüde komite çeşitliliğine bağlıdır; homojen bir komite bilgisiz anlaşmazlık üretir.
  • Havuz tabanlı aktif öğrenme, tüm etiketlenmemiş havuzun belleğe sığdığını varsayar; çok büyük havuzlar yaklaşımlar gerektirir.
  • Oracle'ın sistematik etiketleme hataları yapması durumunda yakınsama garanti edilmez.

Kaynak metnin koşulları, bağımsız bilimsel inceleme veya analiz motoru doğrulaması yerine geçmez.

Güçlü yönleri

  • Rastgele örneklemeye kıyasla hedeflenen bir doğruluğa ulaşmak için gereken etiketlenmiş örnek sayısını önemli ölçüde azaltır.
  • Topluluk oylaması, çıkarım zamanında daha düşük varyanslı tahminlerin ikili faydasını sağlar.
  • Modelden bağımsız: herhangi bir çeşitli sınıflandırıcı kümesi komiteyi oluşturabilir.
  • Anlaşmazlık puanı, izlenmesi ve görselleştirilmesi kolay yerleşik bir belirsizlik sinyali sağlar.
  • 1992'de tanıtılan Komite Sorgulama çerçevesi aracılığıyla teorik olarak iyi temellendirilmiştir.

Uygulama alanları

  • Uzman radyologların kıt olduğu ve etiketlemenin maliyetli olduğu tıbbi görüntü etiketleme.
  • Sınırlı etiketlenmiş veri kümeleriyle adlandırılmış varlık tanıma ve metin sınıflandırma.
  • Alan özel jargonun uzman incelemesi gerektirdiği duygu analizi.
  • Maliyetli laboratuvar doğrulaması ile ilaç keşfi ve moleküler özellik tahmini.
  • Yalnızca karoların bir kısmının manuel olarak incelenebildiği uydu görüntü sınıflandırması.

Nasıl çalışır?

Nasıl çalışır?

1

Etiketlenmiş örneklerden oluşan küçük bir tohum kümesi üzerinde başlatılan k çeşitli temel modelden oluşan bir komite (oy birliği topluluğu). Çeşitlilik anahtardır: modeller mimari, hiperparametreler veya eğitim alt kümesi açısından farklılık gösterebilir, böylece anlaşmazlıkları rastgele olmaktan ziyade bilgilendirici olur.

2

Havuzdaki U her etiketlenmemiş aday x için, komite arasındaki anlaşmazlık D(C, x) ölçülür — yaygın metrikler oy entropisini (oyların ne kadar yayıldığı) veya tahminler arasındaki KL ıraksamasını içerir. En yüksek anlaşmazlık puanına sahip örnek seçilir: x* = argmax D(C, x).

Formül
x^* = \arg\max_{x \in U} D(C, x)
3

Seçilen etiketlenmemiş örnek bir insan oracle'ına (uzman etiketleyici, kitle kaynak platformu veya otomatik etiketleyici) gerçek doğruluk etiketi için gönderilir. Bu, etiketleme maliyetini doğuran tek adımdır.

4

Yeni etiketlenen örnek eğitim setine eklenir ve tüm komite üyeleri yeniden eğitilir (veya artımlı olarak güncellenir). Etiketleme bütçesi tükendiğinde veya bir performans eşiğine ulaşıldığında döngü sorgulama adımına döner.

5

Çıkarım zamanında, eğitilmiş komite tüm k üye arasında çoğunluk oyu üretir: tahmin edilen sınıf, bireysel tahminler h_1(x) ile h_k(x) arasındaki moddur, hem aktif öğrenme verimlilik kazancını hem de topluluğun varyans azalmasını birleştirir.

Formül
\hat{y} = \text{mode}(h_1(x), h_2(x), \ldots, h_k(x))

Sık yapılan hatalar

  • Aynı veya neredeyse aynı komite üyelerini kullanmak — çeşitlilik yöntemin motorudur ve onsuz anlaşmazlık çöker.
  • Her sorgulamadan sonra sıfırdan yeniden eğitim; toplu sorgulama (her turda b örnek seçme) çok daha pratiktir.
  • Döngü boyunca sabit, ayrılmış bir test kümesinde değerlendirmeyi unutmak — yalnızca büyüyen eğitim kümesinde ölçüm yapmak aşırı uyumu gizler.
  • Anlaşmazlık puanını, uygun kalibrasyon olmadan çıkarım zamanında bir güven ölçüsü olarak ele almak.
  • Bilgililik-temsil edilebilirlik dengesini göz ardı etmek: sınırın yakınındaki yüksek derecede belirsiz örnekler, tipik örnekler değil, aykırı değerler olabilir.

Sık sorulan sorular

Kaç komite üyesi kullanmalıyım?

Üç ila on çeşitli model yaygın bir pratik aralıktır. Daha az üye daha gürültülü anlaşmazlık tahminleri üretir; daha fazla üye hesaplama maliyetlerini artırır. Ampirik olarak, beş çeşitli sınıflandırıcı genellikle kararlılık ve verimlilik arasında iyi bir denge sağlar.

Komitedeki anlaşmazlığı nasıl ölçerim?

Oy entropisi en yaygın ölçümdür: H = -sum_c p(c) log p(c), burada p(c) sınıf c'yi tahmin eden komite üyelerinin oranıdır. Olasılıksal modeller için, ortalama tahminden ortalama KL ıraksaması bir alternatiftir. Daha yüksek puanlar daha bilgilendirici örnekleri gösterir.

Bunu derin öğrenme modelleriyle kullanabilir miyim?

Evet. Derin topluluklar veya MC-dropout yaklaşımları komite olarak hizmet edebilir. Ana zorluk yeniden eğitim maliyetidir — paylaşılan bir omurgayı çeşitli başlıklarla ince ayar yapmak gibi stratejiler bunu önemli ölçüde azaltır.

Etiketleme bütçem çok kısıtlıysa — diyelim ki 20 etiketten az?

Çok az etiketle, rastgele örnekleme veya tabakalı tohum seçimi genellikle QBC ile karşılaştırılabilir performans gösterir çünkü tüm yöntemler neredeyse aynı bilgi açısından fakir temelden başlar. QBC'nin avantajı, tohum kümesi her sınıftan en az 20-50 örnek aldığında daha net ortaya çıkar.

Aktif öğrenme oy birliği topluluğu regresyon için çalışır mı?

Evet, anlaşmazlık oy entropisi yerine komite tahminlerinin varyansı veya standart sapması olarak ölçülür. Aynı sorgu-yeniden eğitim döngüsü geçerlidir; son çıktı komite tahminlerinin ortalamasıdır.

İlgili yöntemler

Kaynaklar

  1. Seung, H. S., Opper, M., & Sompolinsky, H. (1992). Query by committee. In Proceedings of the Fifth Annual Workshop on Computational Learning Theory (COLT '92), pp. 287–294. ACM.

    DOI kaynağını aç
    Kopyalandı.
  2. Settles, B. (2009). Active Learning Literature Survey. Computer Sciences Technical Report 1648, University of Wisconsin–Madison.

    Yayın kaynağını aç
    Kopyalandı.