İçeriğe atla
Arama sonuçlarına dön

Bayesçi Gauss Süreci

Ortaya koyan
O'Hagan, A.; Neal, R. M.; Rasmussen, C. E. & Williams, C. K. I.
Yıl
1978–2006
Tür
Probabilistic kernel model
Aile
Machine learning

Bu metin makine çevirisidir ve henüz incelenmedi. Asıl metni İngilizce oku

Yazı boyutu

Ne işe yarar?

Bir Bayesçi Gauss Süreci (GS), çekirdek (kernel) kullanarak girdiler arasındaki benzerliği kodlayarak doğrudan fonksiyonlar üzerine bir olasılık dağılımı yerleştirir.

Veri gözlemlendikten sonra, Bayes kuralı bu önseli (prior), sadece nokta tahminlerini değil, aynı zamanda her yeni girdide kalibre edilmiş belirsizlik tahminlerini de veren bir sonsal (posterior) dağılıma dönüştürür — bu da onu makine öğrenmesindeki en prensipli olasılıksal modellerden biri yapar.

Yöntemin mantığı

Verilerinize tutarlı, olası sonsuz sayıda eğri çizdiğinizi hayal edin, her biri bildiklerinizle tutarlıdır. Bir GS, gözlemleri görmeden önce ve sonra her bir eğrinin ne kadar olası olduğunu nicelleştirir. Çekirdek, hangi eğrilerin pürüzsüz veya dalgalı, yakın veya uzak erişimli görüneceğini belirler. Veri geldiğinde, GS gözlemler etrafındaki olası eğri ailesini daraltır, ancak veri seyrek olduğunda dürüst belirsizliği korur. Bu, hem bir tahmin hem de tahminin ne kadar kanıtla desteklendiğini dürüstçe yansıtan bir güven bandı sağlar.

Tarih

İstatistiklerde Gauss süreçlerinin kullanımı O'Hagan (1978) ve jeostatistikte Kriging'e (Matheron, 1963) kadar uzanır. Makine öğrenmesinde benimsenmeleri, Neal (1996) tarafından tetiklendi, sonsuz genişlik limitinde derin ağların GS'lere yakınsadığını gösterdi ve Rasmussen ve Williams'ın 2006 tarihli kitabı standart referans oldu. Bugün GS'ler, mühendislik ve bilim alanlarında hiperparametre ayarlama ve deneysel tasarımda Bayesçi optimizasyon işlem hatlarını desteklemektedir.

Ne zaman kullanılır?

Tahminlerle birlikte kalibre edilmiş belirsizlik gerektiğinde bir Bayesçi GS kullanın — örneğin aktif öğrenmede, Bayesçi optimizasyonda, güvenlik açısından kritik uygulamalarda veya belirsizliği bilmenin tahminin kendisi kadar önemli olduğu bilimsel çıkarımda. Küçük ila orta ölçekli veri kümelerinde (birkaç bin gözleme kadar) sürekli veya yapılandırılmış girdiler ve pürüzsüz temel fonksiyonlarla mükemmeldir. Veri kümesi yaklaşık 10.000 satırı aştığında seyrek veya yaklaşık GS yöntemleri olmadan, girdi uzayı yüksek boyutlu olduğunda (yaklaşık 20 özellik üzeri) güçlü önsel yapı olmadan veya hızlı, opak bir nokta tahmincisi gerektiğinde GS'lerden kaçının.

Sınırlar ve dikkat edilmesi gerekenler

  • Kesin çıkarımda kübik hesaplama maliyeti O(n^3), seyrek yaklaşımlar olmadan birkaç bin gözlem veri kümesiyle sınırlıdır.
  • Çekirdek seçimi etkilidir ve alan uzmanlığı gerektirir; yanlış belirtilmiş bir çekirdek hem tahminleri hem de belirsizlik tahminlerini bozar.
  • Kapalı form çıkarımı, Gauss olmayan olasılıklar (sınıflandırma, sayımlar) için bozulur, karmaşıklık ekleyen yaklaşımlar gerektirir.
  • Boyut azaltma veya yapılandırılmış çekirdekler olmadan yüksek boyutlu girdi uzaylarına kötü ölçeklenir.

Kaynak metnin koşulları, bağımsız bilimsel inceleme veya analiz motoru doğrulaması yerine geçmez.

Güçlü yönleri

  • Sadece nokta tahminleri değil, tam kalibre edilmiş tahmin dağılımları üretir.
  • Regresyon için kapalı formda sonsal — orta ölçekli veriler için kesin, örnekleme gerektirmez.
  • Çekirdek seçimi, pürüzsüzlük, periyodiklik ve yapı hakkında zengin alan bilgisini kodlar.
  • Log marjinal olabilirlik, otomatik hiperparametre öğrenimi ve model karşılaştırması sağlar.
  • Belirsizliğin en yüksek olduğu yerleri nicelleştirerek doğal olarak aktif öğrenmeyi ve Bayesçi optimizasyonu destekler.
  • Örneklem verimliliği: derin öğrenmenin genelleme yapamadığı küçük veri kümelerinde iyi performans gösterir.

Uygulama alanları

  • Hiperparametre ayarlama, deneysel tasarım ve AutoML için Bayesçi optimizasyon.
  • Mühendislik simülasyonları ve bilgisayar deneylerinde vekil modelleme.
  • Mekansal enterpolasyon ve jeostatistik (Kriging).
  • Prensip sahibi belirsizlik nicelleştirmeli zaman serisi tahmini.
  • Aktif öğrenme: sonsal varyansa dayalı olarak en bilgilendirici sonraki gözlemi seçme.
  • Tahminle birlikte belirsizlik yayılımının gerekli olduğu bilimsel çıkarım.

Nasıl çalışır?

Nasıl çalışır?

1

Bir GS önseli, genellikle sıfıra ayarlanan bir ortalama fonksiyonu m(x) ve iki girdideki çıktıların nasıl birlikte değiştiğini kodlayan bir kovaryans (çekirdek) fonksiyonu k(x,x') tarafından tanımlanır. Birlikte, model herhangi bir veri görülmeden önce aday çözümler örneklediği tüm fonksiyonlar üzerinde bir dağılım belirtirler.

Formül
f(\mathbf{x}) \sim \mathcal{GP}(m(\mathbf{x}),\, k(\mathbf{x},\mathbf{x}'))
2

Çekirdek, merkezi modelleme seçimidir. Yaygın çekirdekler arasında karesel üstel (RBF), Matern, periyodik ve doğrusal çekirdekler bulunur; her biri pürüzsüzlük, periyodiklik veya eğilim hakkındaki farklı varsayımları kodlar. Alan bilgisi, hedef fonksiyonun beklenen davranışına uyan çekirdekleri seçmek veya bileştirmek için kullanılır.

3

Eğitim gözlemleri (X, y) verildiğinde, sonsal GS'yi elde etmek için regresyon için kapalı formda Bayes kuralı uygulanır. Sonsal ortalama, herhangi bir yeni girdideki x* nokta tahminini sağlarken, sonsal varyans kalan belirsizliği nicelleştirir — gözlemlere yakın daralır ve keşfedilmemiş bölgelerde genişler.

Formül
p(f^* | \mathbf{X}, \mathbf{y}, \mathbf{x}^*) = \mathcal{N}(\mu^*, \sigma^{*2})
4

Çekirdek hiperparametreleri (uzunluk ölçekleri, çıktı varyansı, gürültü seviyesi), model karmaşıklığına karşı veri uyumunu otomatik olarak dengeleyen log marjinal olabilirlik maksimize edilerek öğrenilir. Bu yerleşik Occam'ın usturası, birçok durumda hiperparametre seçimi için ayrı çapraz doğrulama gerekliliğini ortadan kaldırır.

Formül
\hat{\boldsymbol{\theta}} = \arg\max \log p(\mathbf{y}|\mathbf{X},\boldsymbol{\theta})
5

Yeni bir noktadaki nihai tahmin dağılımı regresyon için Gauss'tur, bir ortalama ve bir varyans döndürür. Sınıflandırma için, ek bir yaklaştırma adımı (Laplace, beklenti yayılımı veya varyasyonel çıkarım), gizli GS'yi sınıf olasılıklarına dönüştürür.

Sık yapılan hatalar

  • Verilerin gerçekten pürüzsüz ve durağan olup olmadığını dikkate almadan varsayılan bir RBF çekirdeği kullanmak.
  • Sonsal tahmin varyansını göz ardı edip sadece ortalamayı raporlamak, modelin temel avantajını gözden çıkarmak.
  • Büyük veri kümelerine (n > 10.000) seyrek veya indüklenmiş nokta yaklaşımları olmadan kesin GS çıkarımı uygulamak, bellek ve hız sorunlarına neden olur.
  • GS hiperparametre optimizasyonunu (marjinal olabilirlik) hiperparametreler üzerindeki tam Bayesçi çıkarımla karıştırmak — ikincisi MCMC gerektirir ve pratikte nadiren yapılır.
  • Sınıflandırma GS çıktısını, gizli sonsalın kesin olduğu varsayarak, Gauss olmayan olasılıklardaki yaklaştırma hatasını dikkate almadan işlemek.

Sık sorulan sorular

Bir Gauss süreci doğası gereği Bayesçi midir?

Evet. Bir GS fonksiyonlar üzerinde bir önsel tanımlar ve veriye koşullandırma Bayes kuralı aracılığıyla bir sonsal verir. Tahmin dağılımı, sonsal olasılıklarıyla ağırlıklandırılmış tüm olası fonksiyonların marjinalleştirilmesidir, bu da Bayesçi çıkarımın tanımlayıcı özelliğidir.

Çekirdeği nasıl seçerim?

Fonksiyonun pürüzsüz (RBF/kare üstel), periyodik (periyodik çekirdek) veya parça parça düzensiz (Matern 3/2 veya 5/2) olması beklenip beklenmediğini sorarak başlayın. Bileşik yapıyı yakalamak için çekirdekler toplamsal veya çarpımsal olarak birleştirilebilir. Seçimleri log marjinal olabilirlik kullanarak doğrulayın.

Binlerce veri noktasında GS kullanabilir miyim?

Kesin GS çıkarımı O(n^3) maliyete sahiptir, bu da modern donanımda birkaç bin noktaya kadar mümkündür. Daha büyük veri kümeleri için, seyrek GS yaklaşımları (FITC veya VFE gibi indüklenmiş nokta yöntemleri) veya milyonlarca gözleme ölçeklenen stokastik varyasyonel GS'ler kullanın.

GS regresyonu ile GS sınıflandırması arasındaki fark nedir?

GS regresyonu Gauss olasılığı kullanır, bu nedenle sonsal da Gauss'tur ve kapalı formda hesaplanabilir. GS sınıflandırması Bernoulli (veya softmax) olasılığı kullanır, bu Gauss değildir, bu nedenle sonsal yaklaştırılmalıdır — yaygın olarak Laplace yaklaştırması veya beklenti yayılımı ile.

GS bir sinir ağı ile nasıl karşılaştırılır?

GS'ler küçük veriler için daha uygundur, kutudan çıktığı gibi kalibre edilmiş belirsizlik sağlar ve çekirdek aracılığıyla yorumlanabilirdir. Sinir ağları büyük, yüksek boyutlu verilerde baskındır. Belirli aktivasyonlara sahip sonsuz genişlikteki sinir ağları matematiksel olarak GS'lere eşdeğerdir, bu da ikisi arasındaki derin bir teorik bağlantıyı ortaya koyar.

İlgili yöntemler

Kaynaklar

  1. Rasmussen, C. E., & Williams, C. K. I. (2006). Gaussian Processes for Machine Learning. MIT Press.

    ISBN: 978-0-262-18253-9
    Kopyalandı.
  2. Bishop, C. M. (2006). Pattern Recognition and Machine Learning (Ch. 6). Springer.

    ISBN: 978-0-387-31073-2
    Kopyalandı.