İçeriğe atla
Arama sonuçlarına dön

Aktif Öğrenme Gauss Süreci

Ortaya koyan
MacKay, D. J. C.
Yıl
1992
Tür
Bayesian active learning
Aile
Machine learning

Bu metin makine çevirisidir ve henüz incelenmedi. Asıl metni İngilizce oku

Yazı boyutu

Ne işe yarar?

Aktif Öğrenme Gauss Süreci (GP-AL), bir Gauss süreci olasılıksal modelini aktif öğrenme sorgu stratejisiyle birleştirir ve etiketlenecek en bilgilendirici etiketsiz örnekleri seçmek için GP'nin ardıl belirsizliğini kullanır.

Bu iteratif yaklaşım, etiketleme çabasını en aza indirirken tahmin doğruluğunu en üst düzeye çıkarır, bu da etiketli verinin kıt veya elde edilmesi pahalı olduğu durumlarda idealdir.

Yöntemin mantığı

Bir Gauss süreci yalnızca bir değer değil, aynı zamanda ne kadar emin olduğunu da tahmin eder. Aktif öğrenme bunu kullanır: rastgele veri etiketlemek yerine, algoritma tüm etiketsiz noktaları inceler ve GP'nin en belirsiz olduğu noktayı etiketlemesi için bir insana (veya oracle'a) sorar. Etiketlemeden sonra, GP inançlarını günceller ve döngü tekrarlanır. Bu hedeflenmiş yaklaşım, rastgele veya pasif örneklemeye göre çok daha verimli bir şekilde bilgilendirici etiketler elde eder ve genellikle etiketli verinin çok küçük bir kısmıyla güçlü model performansı sağlar.

Tarih

Bir olasılıksal model için eğitim noktalarını seçmek üzere bilgi teorik kriterleri kullanma fikri MacKay (1992) tarafından biçimlendirilmiş, bir oracle'dan bilgi kazancını en üst düzeye çıkarmanın Bayesci bir model altında yüksek varyanslı noktaları seçmeye eşdeğer olduğunu göstermiştir. Gauss süreçleri, kesin ardıl dağılımlar sağladıkları için doğal bir uyum haline geldi. Alan, 2000'lerde Lawrence, Settles (2012) ve hiperparametre araması için aynı GP-artı-kazanım-fonksiyonu çerçevesini yeniden kullanan Bayesci optimizasyon topluluğu çalışmalarıyla olgunlaştı.

Ne zaman kullanılır?

Etiketli verinin kıt veya elde edilmesi pahalı olduğu — bilimsel deneylerde, tıbbi çalışmalarda veya endüstriyel testlerde — ve tahminlerin yanı sıra kalibre edilmiş belirsizlik tahminlerine ihtiyaç duyduğunuzda GP-AL'yi kullanın. Düzgün veya orta derecede doğrusal olmayan fonksiyonlarla düşük ila orta boyutlu sürekli girdi uzaylarında ve küçük ila orta boyutlu veri kümelerinde (birkaç bin noktaya kadar) mükemmeldir. Girdi uzayı çok yüksek boyutlu olduğunda (GP çekirdekleri kötü ölçeklenir), veri kümesi zaten büyük olduğunda (GP çıkarımı O(n^3)'tür) veya oracle etiketleme maliyeti ihmal edilebilir olduğunda ve rastgele örnekleme yeterli olduğunda kullanmayın.

Sınırlar ve dikkat edilmesi gerekenler

  • Etiketli noktaların sayısına göre kübik hesaplama karmaşıklığı O(n^3), seyrek veya indükleyici nokta yaklaşımları olmadan binlerce gözleme ölçeklenmesini pahalı hale getirir.
  • GP çekirdeklerinin yapıyı verimli bir şekilde yakalamakta zorlanması nedeniyle yüksek boyutlu girdi uzaylarında performans düşer.
  • Oracle'ın her zaman mevcut olduğunu ve sorgulanan herhangi bir noktayı hatasız veya gecikmeden etiketleyebileceğini varsayar.
  • Çekirdek seçimi önemsiz değildir; yanlış belirtilmiş bir çekirdek, kötü kalibre edilmiş belirsizliğe ve suboptimal sorgulara yol açabilir.

Kaynak metnin koşulları, bağımsız bilimsel inceleme veya analiz motoru doğrulaması yerine geçmez.

Güçlü yönleri

  • İlkesel belirsizlik ölçümü: GP ardılı, sezgisel yöntemler olmadan sorgu stratejisini doğrudan yönlendirir.
  • Dramatik etiket verimliliği — pasif olarak eğitilmiş modellerle karşılaştırılabilir doğruluk elde eder, ancak çok daha az etiketli örnekle.
  • Esnek çekirdek seçimi, uygulayıcıların fonksiyon düzgünlüğü hakkındaki alan bilgisini kodlamasına olanak tanır.
  • Aşağı akış karar verme süreçlerini destekleyen tahminlerin yanı sıra kalibre edilmiş güven aralıkları sağlar.
  • Küçük ila orta boyutlu veri kümelerini iyi idare eder, bu durumlarda derin öğrenme yaklaşımları tipik olarak yetersiz kalır.
  • Aktif öğrenme döngüsü yorumlanabilirdir: her sorgu ölçülebilir bir belirsizlik puanıyla gerekçelendirilir.

Uygulama alanları

  • Her deneyin maliyetli olduğu ve girdi-çıktı yüzeyinin bilinmediği ilaç keşfi ve malzeme bilimi.
  • Tıbbi görüntüleme etiketlemesi, radyolog incelemesi için en belirsiz taramaları seçmek.
  • Robotik ve otonom sistemler, seyrek sensör geri bildiriminden verimli bir şekilde kontrol politikaları öğrenmek için.
  • Çevresel izleme, sensörleri maksimum uzamsal belirsizlik konumlarına yönlendirmek.
  • Hiperparametre optimizasyonu (Bayesci optimizasyon), GP'nin kayıp yüzeyini modellediği ve aktif sorgulamanın değerlendirilecek bir sonraki konfigürasyonu seçtiği yer.

Nasıl çalışır?

Nasıl çalışır?

1

Küçük bir başlangıç etiketli veri kümesiyle başlayın ve bir GP çekirdeği (örneğin, karesel üstel, Matern) ve gürültü modeli belirtin. Çekirdek, öğrenilen fonksiyonun düzgünlüğü ve uzunluk ölçeği hakkındaki önsel varsayımları kodlar.

2

GP'yi mevcut etiketli kümeye uydurun. GP, çıktı uzayı üzerinde bir ardıl tahmin dağılımı döndürür — her nokta için bir ortalama tahmin ve bir varyans (belirsizlik), tüm etiketsiz adaylar dahil.

Formül
p(f^* | X, y, x^*) = \mathcal{N}(\mu^*, \sigma^{*2})
3

Etiketsiz noktaları sıralamak için bir kazanım fonksiyonu uygulayın — en yaygın olarak maksimum tahmin varyansı, ancak entropi veya beklenen iyileşme de kullanılır. En yüksek puana sahip nokta, model belirsizliğini azaltmak için en fazla bilgiyi taşıdığı için etiketleme için seçilir.

Formül
x^* = \arg\max_{x \in \mathcal{U}} \sigma^2(x)
4

Seçilen noktayı bir oracle'a (insan etiketleyici, deney veya otomatik sensör) etiketleme için sunun. Gerçek etiket elde edilir ve büyüyen etiketli veri kümesine eklenir.

5

Yeni etiketlenmiş noktayı dahil ederek GP'yi yeniden uydurun. GP'ler kesin Bayes güncellemelerini desteklediğinden, ardıl yeni gözlemi yansıtacak şekilde kayar, o noktanın yakınındaki belirsizliği azaltır ve potansiyel olarak başka yerlerde yeniden şekillendirir.

6

Bir bütçe (etiket sayısı, hesaplama süresi veya hedef doğruluk eşiği) karşılanana kadar kazanım-sorgu-güncelleme döngüsünü tekrarlayın. Sonlandırmada, son GP yeni test verileri üzerinde tahmin için kullanılır.

Sık yapılan hatalar

  • Fonksiyonun aslında düzgün olup olmadığını doğrulamadan varsayılan RBF çekirdeğini kullanmak — yanlış belirtilmiş düzgünlük varsayımları belirsizlik tahminlerini ve sorgu seçimini bozar.
  • Başlatma stratejisini göz ardı etmek: kötü bir başlangıç etiketli kümesi (örneğin, hepsi dar bir bölgeden) modeli yanlı hale getirir ve keşfi geciktirir.
  • Girdileri ve çıktıları normalleştirmeyi unutmak; GP'ler ölçeğe duyarlıdır ve normalleştirilmemiş veriler kovaryans matrisinde sayısal kararsızlığa neden olabilir.
  • Kazanım puanını, mevcut etiketsiz havuz içindeki göreceli bir sıralama yerine mutlak bir önem ölçüsü olarak ele almak.
  • Binlerce örneklik veri kümelerine seyrek bir GP yaklaşımı olmadan GP-AL uygulamak, karşılanamaz çalışma sürelerine yol açar.

Sık sorulan sorular

GP-AL standart Gauss süreci regresyonundan nasıl farklıdır?

Standart GP regresyonu, sağlanan etiketli veriyi pasif olarak uydurur. GP-AL, GP'nin belirsizliği tarafından yönlendirilen, hangi etiketsiz noktaların bir sonraki etiketleneceğini aktif olarak seçen dış bir döngü ekler, böylece model edinilen etiket başına daha fazla öğrenir.

Hangi kazanım fonksiyonunu kullanmalıyım?

Maksimum tahmin varyansı en basit ve en yaygın seçenektir ve saf keşif için iyi çalışır. Belirli bir hedef değer veya sınıflandırma sınırı bulmak söz konusu olduğunda beklenen iyileşme veya entropi tabanlı kriterler tercih edilebilir.

Başlamak için kaç başlangıç etiketli noktaya ihtiyacım var?

Birkaç tane — genellikle 5 ila 20 — girdi uzayını kapsayacak şekilde seçilmiş (örneğin, Latin hiperküp veya uzay doldurma tasarımı yoluyla) GP'yi başlatmak ve ilk sorgu turu için anlamlı belirsizlik tahminleri üretmek için yeterlidir.

Yöntem sınıflandırma görevleri için çalışır mı?

Evet, GP sınıflandırması kullanarak (bir probit veya lojistik bağlantı fonksiyonu ile). Belirsizlik ölçümü, regresyon durumundan biraz daha karmaşık hale getiren yaklaşık çıkarım (örneğin, Laplace yaklaşımı veya beklenti yayılımı) gerektirir.

Ne zaman rastgele ormanlar veya sinir ağları yerine GP-AL'yi tercih etmeliyim?

Veri kümesi büyük olduğunda (binlerce veya daha fazla etiketli örnek) veya yüksek boyutlu olduğunda (çok sayıda girdi özelliği), çünkü GP hesaplama maliyeti ve çekirdek ifade gücü sınırlayıcı hale gelir. Monte Carlo dropout'lu sinir ağları, bu rejimlerde aktif öğrenme için ölçeklenebilir alternatifler olarak hizmet edebilir.

İlgili yöntemler

Kaynaklar

  1. MacKay, D. J. C. (1992). Information-based objective functions for active data selection. Neural Computation, 4(4), 590–604.

    DOI kaynağını aç
    Kopyalandı.
  2. Settles, B. (2012). Active Learning. Synthesis Lectures on Artificial Intelligence and Machine Learning. Morgan & Claypool.

    Yayın kaynağını aç
    Kopyalandı.