İçeriğe atla
Arama sonuçlarına dön

Gauss Süreci

Ortaya koyan
Rasmussen, C. E. & Williams, C. K. I.
Yıl
2006 (book); roots in Kriging, 1951)
Tür
Probabilistic non-parametric model
Aile
Machine learning

Bu metin makine çevirisidir ve henüz incelenmedi. Asıl metni İngilizce oku

Yazı boyutu

Ne işe yarar?

Bir Gauss Süreci (GS), fonksiyonlar üzerine doğrudan bir önsel dağılım yerleştiren parametrik olmayan, tam olasılıksal bir makine öğrenmesi modelidir.

Tek bir değer tahmin etmek yerine, her test noktasında bir tahmin ortalaması ve kalibre edilmiş bir belirsizlik tahmini döndürür, bu da onu küçük ila orta ölçekli veri kümelerinde regresyon ve Bayes optimizasyon görevleri için özellikle değerli kılar.

Yöntemin mantığı

Sabit bir eğriyi verilerinize uydurmak yerine, bir Gauss Süreci gözlemlenenlerle tutarlı olası eğriler üzerinde bütün bir dağılımı korur. Verileri görmeden önce, fonksiyonların (bir çekirdek tarafından tanımlandığı gibi) pürüzsüz olması gerektiğini varsayar. Verileri gördükten sonra, bu dağılımı daraltır: yakındaki test noktaları dar, güvenilir tahminler alır, uzak veya veri seyrek bölgeler ise geniş belirsizlik bantları üretir. Bu yerleşik belirsizlik ölçümü, GS'leri diğer modellerin çoğundan ayırır.

Tarih

Gauss Süreçleri, kökenlerini 1950'lerde jeostatistikte Danie Krige tarafından geliştirilen ve Georges Matheron tarafından biçimlendirilen Kriging'e dayandırır. Makine öğrenmesindeki kullanımları büyük ölçüde Carl Rasmussen ve Christopher Williams tarafından yönlendirildi; onların 2006 MIT Press kitabı, GS'yi, özellikle belirsizlik ölçümünün gerekli olduğu durumlar için, sinir ağlarına ve çekirdek SVM'lere prensipli bir Bayes parametrik olmayan alternatif olarak kuran kesin referans haline geldi.

Ne zaman kullanılır?

Gauss Süreçleri, belirsizlik ölçümünün önemli olduğu küçük ila orta ölçekli veri kümelerinde (birkaç bin satıra kadar) mükemmeldir — örneğin, bilimsel deneyler, mühendislik tasarımı veya pahalı simülasyonlar için vekil modelleme. Bayes optimizasyonu için tercih edilen yöntemdir. Yalnızca nokta tahminlerinden ziyade kalibre edilmiş tahmin aralıklarına ihtiyacınız olduğunda ve girdiler ile çıktılar arasındaki ilişkinin pürüzsüz olması beklendiğinde, GS'yi daha basit modeller yerine tercih edin. n yaklaşık 10.000 gözlemi aştığında, kesin çıkarım O(n^3) olarak ölçeklendiği ve yaklaşımlar olmadan hesaplama açısından imkansız hale geldiği için GS'den kaçının. GS ayrıca, dikkatlice ayarlanmış çekirdekler kullanılmadıkça, çok yüksek boyutlu girdi uzaylarında ve süreksiz veya yüksek derecede durağan olmayan fonksiyonlarda zorlanır.

Sınırlar ve dikkat edilmesi gerekenler

  • Kesin çıkarım, zaman açısından O(n^3) ve bellek açısından O(n^2)'dir, bu da seyrek veya yaklaşık GS yöntemleri olmadan büyük n için pratik değildir.
  • Çekirdek mesafelerindeki boyutluluk laneti nedeniyle çok yüksek boyutlu girdi uzaylarında performans düşer.
  • Çekirdekleri seçmek ve birleştirmek alan bilgisi gerektirir; kötü seçilmiş bir çekirdek, kötü belirsizlik kalibrasyonuna yol açar.
  • Sınıflandırma (GS sınıflandırıcıları), ek bir Laplace veya beklenti yayılımı yaklaşımı gerektirir, bu da karmaşıklığı artırır.

Kaynak metnin koşulları, bağımsız bilimsel inceleme veya analiz motoru doğrulaması yerine geçmez.

Güçlü yönleri

  • Nokta tahminlerine ek olarak kalibre edilmiş tahmin belirsizlik aralıkları döndürür.
  • Son derece örnek-verimli — ağaç tabanlı modellerin aşırı uyum sağladığı küçük veri kümelerinde iyi performans gösterir.
  • Çekirdek seçimi, pürüzsüzlük, periyodiklik veya ölçek hakkındaki alan bilgisini esnek bir şekilde kodlar.
  • Hiperparametreler, marjinal olabilirlik yoluyla verilerden öğrenilir, bu da otomatik düzenlileştirme sağlar.
  • Bayes optimizasyonu ve aktif öğrenme deneysel tasarımı için yerel çerçeve.

Uygulama alanları

  • Kalibre edilmiş güven aralıkları gerektiren küçük ila orta ölçekli bilimsel ve mühendislik veri kümelerinde regresyon.
  • Hiperparametre ayarlama veya deneysel tasarım gibi pahalı kara kutu fonksiyonlarının Bayes optimizasyonu.
  • Havacılık, malzeme bilimi ve iklim modellemesindeki maliyetli bilgisayar simülasyonları için vekil modelleme.
  • Mekansal-zamansal enterpolasyon ve jeostatistik haritalama (Kriging).
  • Aktif öğrenme: en bilgilendirici bir sonraki ölçümü seçmek için sonlu varyansı kullanma.
  • Mevsimsel yapıyı kodlayan periyodik veya bileşik çekirdeklerle zaman serisi modellemesi.

Nasıl çalışır?

Nasıl çalışır?

1

Bir çekirdek fonksiyonu (yaygın olarak karesel-üstel / RBF), fonksiyon pürüzsüzlüğü ve uzunluk ölçeği hakkındaki önsel inançları kodlar. Herhangi iki girdi noktası arasındaki benzerliği ölçer: benzer girdiler benzer çıktılar üretmelidir. Çekirdek şeklinin seçimi, GS'nin ne tür fonksiyonları temsil edebileceğini güçlü bir şekilde yönetir.

Formül
k(\mathbf{x}, \mathbf{x}') = \sigma^2 \exp\!\left(-\frac{\|\mathbf{x}-\mathbf{x}'\|^2}{2l^2}\right)
2

Herhangi bir veri gözlemlenmeden önce, GS fonksiyonlar üzerinde bir önsel dağılım tanımlar: fonksiyon değerlerinin her sonlu koleksiyonu, ortalama fonksiyon m(x) ve çekirdek tarafından verilen kovaryans ile birlikte Gauss'tur. Bu önsel, bilinmeyen fonksiyonun nasıl davrandığına dair başlangıç inancıdır.

Formül
f(\mathbf{x}) \sim \mathcal{GP}(m(\mathbf{x}),\, k(\mathbf{x}, \mathbf{x}'))
3

Önselin gözlemlenen eğitim verilerine koşullandırılması, aynı zamanda Gauss olan sonlu dağılımı verir. Sonlu ortalama, herhangi bir yeni girdi x* noktasında nokta tahmini haline gelir ve sonlu varyans, eğitim verilerinin yoğun olduğu yerlerde otomatik olarak daralan kalibre edilmiş bir güven aralığı sağlar.

Formül
f_* \mid \mathbf{X}, \mathbf{y}, \mathbf{x}_* \sim \mathcal{N}(\mu_*, \sigma^2_*)
4

Çekirdek hiperparametreleri (uzunluk ölçeği, çıktı varyansı, gürültü seviyesi), eğitim verilerinin log marjinal olabilirliklerini maksimize ederek tahmin edilir. Bu optimizasyon, veri uyumunu model karmaşıklığına karşı dengeleyerek, ayrı bir ceza terimi olmadan otomatik düzenlileştirme gerçekleştirir.

Formül
\hat{\boldsymbol{\theta}} = \arg\max_{\boldsymbol{\theta}} \log p(\mathbf{y} \mid \mathbf{X}, \boldsymbol{\theta})
5

Tahmin zamanında, sonlu ortalama nokta tahmini olarak ve sonlu standart sapma belirsizlik bandı olarak döndürülür. Her ikisi de doğrudan kullanılabilir: en iyi tahmin için ortalamayı ve her yeni girdi konumunda modelin ne kadar emin olduğunu iletmek için aralığı raporlayın.

Sık yapılan hatalar

  • Fonksiyonun gerçekten durağan ve pürüzsüz olup olmadığını kontrol etmeden varsayılan RBF çekirdeğini kullanmak — periyodik veya süreksiz desenler farklı çekirdekler gerektirir.
  • Uyum sağlamadan önce sürekli girdileri ve çıktıları standartlaştırmayı unutmak, bu da kötü koşullandırılmış kovaryans matrislerine yol açar.
  • Sonlu ortalamayı tek başına teslim edilebilir olarak kabul etmek ve modelin birincil katkısı olan belirsizlik bantlarını göz ardı etmek.
  • Yaklaşık 5.000'in üzerindeki n veri kümelerine kesin GS uygulamak, seyrek veya indüklenmiş nokta yaklaşımına geçmeden.
  • Varyans çıktısını yorumlarken aleatorik gürültüyü (indirgenemez ölçüm hatası) epistomik belirsizlikle (model belirsizliği) karıştırmak.

Sık sorulan sorular

Hangi çekirdek ile başlamalıyım?

Karesel-üstel (RBF) çekirdek, sonsuz türevlenebilir, pürüzsüz fonksiyonlar ürettiği ve yorumlanabilir uzunluk ölçeği ve çıktı varyansı hiperparametrelerine sahip olduğu için varsayılan başlangıç noktasıdır. Fonksiyonun daha az pürüzsüz olmasını bekliyorsanız bir Matern çekirdeğine geçin veya mevsimsel veriler için periyodik bir bileşen ekleyin.

Veri kümem 50.000 satır. Hala GS kullanabilir miyim?

Bu ölçekte kesin GS çıkarımı imkansız olurdu. Eğitim maliyetini yaklaşık O(nm^2) seviyesine indiren seyrek GS yöntemlerini (örneğin, indüklenmiş noktalar / FITC) veya stokastik varyasyonel GS'yi düşünün, burada m indüklenmiş nokta sayısıdır (m << n). GPyTorch gibi kütüphaneler bunları verimli bir şekilde uygular.

GS, Bayes doğrusal regresyondan nasıl farklıdır?

Bayes doğrusal regresyon, sabit bir sonlu katsayı kümesi üzerine bir önsel yerleştirir; bu nedenle modelin esnekliği, seçilen taban fonksiyonlarıyla sınırlıdır. Bir GS, sonsuz boyutlu bir uzaydaki fonksiyonlar üzerine doğrudan bir önsel yerleştirir, bu nedenle etkili karmaşıklığı, taban genişletmelerini önceden belirtmenizi gerektirmeden verilere uyum sağlar.

Belirsizlik tahminleri gerçekten kalibre edilmiş mi?

Doğru model ve çekirdek altında, GS sonlu belirsizlikleri yapı gereği iyi kalibre edilmiştir. Pratikte, yanlış kalibrasyon çekirdek yanlış belirtilmesinden veya gürültü yapısının göz ardı edilmesinden kaynaklanır. Her zaman bir sonlu tahmin kontrolü yapın — güven aralıklarının kapsamıyla gözlemlenenlere karşı tahmin edilenleri çizin.

Gauss Süreçleri kategorik veya karma tip girdileri işleyebilir mi?

Standart GS çekirdekleri sürekli girdiler üzerinde çalışır. Kategorik girdiler özel çekirdekler (örneğin, Hamming mesafesi çekirdeği) veya kodlama gerektirir. Ağırlıklı olarak kategorik veya çok yüksek boyutlu karma veriler için, Rastgele Orman veya gradyan artırma gibi ağaç tabanlı modeller genellikle daha iyi bir başlangıç noktasıdır.

İlgili yöntemler

Kaynaklar

  1. Rasmussen, C. E., & Williams, C. K. I. (2006). Gaussian Processes for Machine Learning. MIT Press.

    ISBN: 978-0-262-18253-9
    Kopyalandı.
  2. Gaussian process. Wikipedia.

    Yayın kaynağını aç
    Kopyalandı.