İçeriğe atla
Arama sonuçlarına dön

Yarı denetimli Gauss Süreci

Ortaya koyan
Lawrence, N. D. & Jordan, M. I.
Yıl
2004
Tür
Probabilistic model (semi-supervised)
Aile
Machine learning

Bu metin makine çevirisidir ve henüz incelenmedi. Asıl metni İngilizce oku

Yazı boyutu

Ne işe yarar?

Yarı denetimli Gauss Süreci (Semi-supervised Gaussian Process), etiketlenmiş az sayıda gözlemle birlikte etiketlenmemiş verilerden yararlanmak üzere olasılıksal Gauss Süreci (GP) çerçevesini genişletir.

Fonksiyonlar üzerinde bir GP önseli (prior) yerleştirerek ve etiketlenmemiş girdilerin ortaya çıkardığı geometrik yapıyı kullanarak, etiketlerin kıt olduğu durumlarda tamamen denetimli bir GP'den daha doğru ve daha iyi kalibre edilmiş tahminciler öğrenir; bu da onu, etiketlemenin pahalı olduğu bilimsel ve tıbbi problemler için uygun kılar.

Yöntemin mantığı

Standart bir Gauss Süreci, düzgün fonksiyonlar üzerinde bir dağılım tanımlar ve tahminler oluşturmak için etiketlenmiş eğitim noktalarına koşullanır. Etiketler nadir olduğunda, bu koşullandırılmış sonsal (posterior) dağılım, veri seyrek bölgelerde yüksek belirsizlik gösterir. Yarı denetimli GP, girdi uzayının altta yatan manifoldunu veya yoğunluk yapısını ortaya çıkarmak için etiketlenmemiş girdileri de kullanarak bu duruma çözüm sunar. Benzerliği kodlayan çekirdek (kernel), modelin bir etiket görmeden önce verinin nerede bulunduğunu öğrenmesi için birçok etiketlenmemiş nokta tarafından şekillendirilebilir. Bu, sonsal belirsizliği keskin bir şekilde azaltır ve az sayıda etiketlenmiş örnekten genelleştirmeyi iyileştirir.

Tarih

Yarı denetimli GP çerçevesi, Lawrence ve Jordan tarafından NeurIPS 2004'te, Rasmussen ve Williams'ın makine öğrenmesi için temel GP'si üzerine inşa edilerek (2006 kitabı, 1996'dan itibaren dolaşan daha önceki el yazmaları) resmi olarak tanıtılmıştır. Yaklaşım, manifold düzenlileştirmesi, grafik Laplasyenleri ve Bayesci parametrik olmayan yöntemler fikirlerini birleştirir ve seyrek GP'ler, derin çekirdek öğrenmesi ve olasılıksal çıktılara sahip grafik sinir ağları üzerine yapılan sonraki çalışmaları etkilemiştir.

Ne zaman kullanılır?

Etiketlenmiş verinin az olduğu ancak etiketlenmemiş verinin bol olduğu, tahminlerle birlikte kalibre edilmiş belirsizlik tahminlerine ihtiyaç duyduğunuz ve girdi uzayının etiketlenmemiş noktaların aydınlatabileceği düzgün geometrik yapıya sahip olduğu durumlarda Yarı denetimli Gauss Süreci'ni kullanın. Etiketlemenin pahalı olduğu biyolojik, tıbbi ve fiziksel bilimler alanlarında üstündür. Veri kümesi büyükse (binlerce etiketlenmiş nokta), çünkü GP çıkarımı etiketlenmiş nokta sayısına göre O(n^3) ölçeklenir ve hesaplama açısından pratik olmaktan çıkar. Ayrıca, dikkatli çekirdek mühendisliği olmadan girdi boyutu çok yüksekse (yaklaşık 50 özellikten fazla) veya yorumlanabilir katsayılara olasılıksal tahminlerden daha çok ihtiyaç duyuluyorsa kaçının.

Sınırlar ve dikkat edilmesi gerekenler

  • Etiketlenmiş nokta sayısına göre kübik ölçeklenme O(n^3), seyrek yaklaşımlar olmadan birkaç bin gözlemden fazlası için pratik olmamasına neden olur.
  • Sınıflandırma gibi Gauss olmayan olasılık fonksiyonları için yaklaşık çıkarım (Laplace, EP) gereklidir ve bu da yaklaşık hata payı ekler.
  • Performans, çekirdek seçimine ve etiketlenmemiş noktaların girdi manifoldunu doğru bir şekilde temsil ettiği varsayımına büyük ölçüde bağlıdır.
  • Hesaplama açısından yoğun hiperparametre optimizasyonu yavaş olabilir ve yüksek boyutlarda kötü yerel optimumlara yakınsayabilir.

Kaynak metnin koşulları, bağımsız bilimsel inceleme veya analiz motoru doğrulaması yerine geçmez.

Güçlü yönleri

  • Her bir tahminin yanında kalibre edilmiş belirsizlik sağlayan tam tahmin dağılımları üretir.
  • Etiketlenmemiş veriler, etiketler nadir olduğunda doğruluğu önemli ölçüde artırabilir ve etiketleme bütçelerinin daha verimli kullanılmasını sağlar.
  • Çekirdek esnekliği, düzgünlük, periyodiklik veya girdi geometrisi hakkındaki alan bilgisinin kodlanmasına olanak tanır.
  • İlkeli Bayes çerçevesi, marjinal olabilirlik maksimizasyonu yoluyla hiperparametre seçimini destekler.
  • Çoklu çıktı GP uzantıları aracılığıyla çoklu çıktı ve yapısal tahmin görevlerini doğal olarak ele alır.

Uygulama alanları

  • Az sayıda deneyle etiketlenmiş bileşiklerden yola çıkarak ilaç aktivitesi tahmini.
  • Uzman etiketlemelerinin sınırlı olduğu ancak ham taramaların bol olduğu tıbbi görüntü sınıflandırması.
  • Seyrek kalibre edilmiş okumalar ve yoğun kalibre edilmemiş ölçümler kullanarak çevresel sensör modellemesi.
  • Sınırlı fenotip etiketlerine ancak büyük transkriptomik veri kümelerine sahip gen ifadesi sınıflandırması.
  • Etiketlenmiş deneysel ölçümlerin pahalı olduğu kimya ve fizikte malzeme özelliği tahmini.

Nasıl çalışır?

Nasıl çalışır?

1

Bir çekirdek fonksiyonu k(x_i, x_j), hedef fonksiyonun düzgünlüğü ve ölçeği hakkındaki önsel inançları kodlar. Yarı denetimli ayarlar için, benzerlik metriğinin ham Öklid mesafesinden ziyade gerçek veri geometrisini yansıtması amacıyla, etiketlenmiş ve etiketlenmemiş tüm girdilerden grafik tabanlı veya manifolda uyarlanmış çekirdekler oluşturulur.

Formül
k(x_i, x_j) = \sigma^2 \exp\!\left(-\frac{\|x_i - x_j\|^2}{2\ell^2}\right)
2

Gizli (latent) fonksiyon üzerinde sıfır ortalamalı bir GP önseli f ~ GP(0, k) yerleştirilir. Çekirdek tam etiketlenmemiş veri havuzundan tahmin edildiği için, bu önsel herhangi bir etiket dahil edilmeden önce girdi manifoldunun geometrik yapısını zaten kodlar.

Formül
f \sim \mathcal{GP}(0, k)
3

Etiketlenmemiş noktalar, tüm girdiler üzerinde bir grafik Laplasyen düzenleyicisi (regularizer) oluşturularak veya etiketlenmemiş konumlardaki gizli fonksiyon değerleri, çıkarım sırasında marjinalize edilen yardımcı değişkenler olarak ele alınarak modele dahil edilir. Her iki yaklaşım da büyük etiketlenmemiş veri havuzunun sonsal dağılımı kısıtlamasına ve stabilize etmesine olanak tanır.

4

Etiketlenmiş gözlemlere koşullanma, GP önselini fonksiyonlar üzerindeki bir sonsal dağılıma günceller. Sınıflandırma ayarlarında bu, Gauss olasılık fonksiyonu (likelihood) yerine Gauss olmayan bir gözlem modeli kullanıldığı için yaklaşık çıkarım (Laplace yaklaşımı veya beklenti yayılımı) gerektirir.

Formül
p(f^* | X, y, X_*) \propto p(y | f) \, p(f | X, X_*)
5

Herhangi bir yeni girdi x* için, sonsal tahmin dağılımı analitik olarak (regresyon) veya yaklaşıklık yoluyla (sınıflandırma) hesaplanır. Çıktı, yalnızca bir nokta tahmini değil, aynı zamanda düşük etiketli bilimsel alanlarda gerekli olan kalibre edilmiş belirsizlik de sağlayan tam bir tahmin dağılımıdır (ortalama ve varyans).

Formül
\hat{y}^* = \mathbb{E}[f^* | X, y, x^*]

Sık yapılan hatalar

  • Seyrek indükleyici nokta yaklaşımları olmadan binlerce noktada yoğun bir GP'yi uydurmaya çalışarak O(n^3) maliyetini göz ardı etmek.
  • Veri manifolduna uyarlanmamış standart bir Öklid mesafesi çekirdeği kullanmak, bu da etiketlenmemiş veri havuzunu boşa harcar.
  • Sonsal ortalamayı kesin bir tahmin olarak ele almak ve belirsizlik tahminini göz ardı etmek; bu, ayrımcı yöntemlere göre ana avantajıdır.
  • Etiketlenmemiş veriler ince dağılım kaymalarına neden olabileceğinden, etiketlenmiş bir tutma (held-out) kümesinde doğrulamama yapmak.
  • Etiketlenmemiş veri oranı zaten yüksekken yöntemi uygulamak, bu durumda ek karmaşıklık denetimli bir GP'ye göre ihmal edilebilir fayda sağlar.

Sık sorulan sorular

Bu, standart bir denetimli Gauss Süreci'nden nasıl farklıdır?

Denetimli bir GP yalnızca etiketlenmiş verilere koşullanır ve etiketlenmemiş girdileri göz ardı eder. Yarı denetimli varyant, etiketlere koşullanmadan önce çekirdeği şekillendirmek veya fonksiyon önselini kısıtlamak için etiketlenmemiş girdileri kullanır, böylece veri manifoldundan yararlanır ve etiketler nadir olduğunda daha düşük genelleme hatası elde eder.

Ana hesaplama darboğazı nedir?

GP çıkarımı, eğitim noktalarının sayısına göre kübik ölçeklenir. Seyrek indükleyici nokta yöntemleri (örneğin, FITC, VFE), bunu m indükleyici nokta sayısı (tipik olarak 50–500) olmak üzere O(nm^2)'ye düşürerek büyük ölçekli yarı denetimli GP'yi uygulanabilir hale getirir.

Etiketlenmemiş veri entegrasyonu için çekirdeği nasıl seçerim?

Yaygın bir yaklaşım, tüm girdiler üzerinde hesaplanan bir grafik Laplasyen veya ısı difüzyon çekirdeğidir. Alternatif olarak, veri düşük boyutlu ve düzgün dağılmış olduğunda, tam (etiketlenmiş + etiketlenmemiş) girdi dağılımı üzerinde ayarlanan uzunluk ölçeğine sahip standart bir RBF çekirdeği makul derecede iyi çalışır.

Etiketlenmemiş veriler entegre edildikten sonra kalibre edilmiş belirsizlik korunur mu?

Prensipte evet — Bayes çerçevesi kalibre edilmiş sonsal dağılımlar üretir — ancak sınıflandırma (Laplace, EP) ve seyrek yöntemler (indükleyici noktalar) için getirilen yaklaşımlar kalibrasyonu azaltabilir. Etiketlenmiş bir doğrulama kümesinde beklenen kalibrasyon hatasını (ECE) değerlendirmek iyi bir uygulamadır.

Bu yönteme göre ne zaman yarı denetimli bir SVM'yi tercih etmeliyim?

Basit bir marj tabanlı karar sınırı istediğinizde, yüksek boyutlu seyrek özelliklere (örneğin, metin) sahip olduğunuzda ve belirsizlik tahminlerine ihtiyaç duymadığınızda, yarı denetimli bir SVM'yi (S3VM/transductive SVM) tercih edin. Olasılıksal çıktılar ve çekirdek esnekliğinin önemli olduğu durumlarda yarı denetimli GP'yi seçin.

İlgili yöntemler

Kaynaklar

  1. Lawrence, N. D., & Jordan, M. I. (2004). Semi-supervised learning via Gaussian processes. In Advances in Neural Information Processing Systems (NIPS), 17, 753–760. MIT Press.

    Yayın kaynağını aç
    Kopyalandı.
  2. Rasmussen, C. E., & Williams, C. K. I. (2006). Gaussian Processes for Machine Learning. MIT Press.

    ISBN: 978-0-262-18253-9
    Kopyalandı.