Gaussian Proses Bayesian
- Diperkenalkan oleh
- O'Hagan, A.; Neal, R. M.; Rasmussen, C. E. & Williams, C. K. I.
- Tahun
- 1978–2006
- Jenis
- Probabilistic kernel model
- Keluarga
- Machine learning
Teks ini adalah terjemahan mesin dan belum ditinjau. Baca versi asli dalam bahasa Inggris
Apa fungsinya?
Gaussian Proses (GP) Bayesian menempatkan distribusi probabilitas langsung pada fungsi, menggunakan kernel untuk mengkodekan kesamaan antar masukan.
Setelah mengamati data, aturan Bayes mengubah prior ini menjadi posterior yang menghasilkan tidak hanya prediksi titik tetapi juga estimasi ketidakpastian terkalibrasi pada setiap masukan baru — menjadikannya salah satu model probabilistik paling berprinsip dalam pembelajaran mesin.
Intuisi di balik metode
Bayangkan menggambar tak terhingga banyaknya kurva yang masuk akal melalui data Anda, masing-masing konsisten dengan apa yang Anda ketahui. GP mengukur seberapa mungkin setiap kurva sebelum dan sesudah melihat observasi. Kernel menentukan kurva mana yang terlihat mulus atau bergelombang, dekat atau jauh jangkauannya. Setelah data tiba, GP mempersempit keluarga kurva yang masuk akal di sekitar observasi sambil mempertahankan ketidakpastian yang jujur di mana data jarang. Ini memberikan prediksi dan pita kepercayaan yang benar-benar mencerminkan seberapa banyak bukti yang mendukung perkiraan.
Sejarah
Penggunaan proses Gaussian dalam statistik berawal dari O'Hagan (1978) dan Kriging dalam geostatistik (Matheron, 1963). Adopsi mereka dalam pembelajaran mesin dikatalisasi oleh Neal (1996), yang menunjukkan jaringan dalam konvergen ke GP dalam batas lebar tak terbatas, dan oleh buku Rasmussen dan Williams tahun 2006, yang menjadi referensi standar. Saat ini GP mendasari pipeline optimasi Bayesian dalam penyetelan hiperparameter dan desain eksperimental di seluruh teknik dan sains.
Kapan digunakan
Gunakan GP Bayesian ketika Anda membutuhkan ketidakpastian terkalibrasi di samping prediksi — misalnya dalam pembelajaran aktif, optimasi Bayesian, aplikasi kritis keselamatan, atau inferensi ilmiah di mana mengetahui apa yang tidak diketahui model sama pentingnya dengan prediksi itu sendiri. Ia unggul pada kumpulan data kecil hingga menengah (hingga beberapa ribu observasi) dengan masukan kontinu atau terstruktur dan fungsi dasar yang mulus. Hindari GP ketika kumpulan data melebihi sekitar 10.000 baris tanpa metode GP jarang atau aproksimasi, ketika ruang masukan berdimensi tinggi (di atas ~20 fitur) tanpa struktur prior yang kuat, atau ketika prediktor titik yang cepat dan buram adalah satu-satunya yang dibutuhkan.
Batasan dan pertimbangan
- Biaya komputasi kubik O(n^3) dalam inferensi tepat membatasi penggunaan pada kumpulan data beberapa ribu observasi tanpa aproksimasi jarang.
- Pilihan kernel berpengaruh dan membutuhkan keahlian domain; kernel yang salah spesifikasi menurunkan baik prediksi maupun estimasi ketidakpastian.
- Inferensi bentuk tertutup gagal untuk kemungkinan non-Gaussian (klasifikasi, hitungan), membutuhkan aproksimasi yang menambah kompleksitas.
- Skala buruk ke ruang masukan berdimensi tinggi tanpa reduksi dimensi atau kernel terstruktur.
Syarat dari sumber tidak menggantikan tinjauan ilmiah independen atau validasi oleh mesin analisis.
Kelebihan
- Menghasilkan distribusi prediktif yang terkalibrasi penuh, bukan hanya perkiraan titik.
- Posterior bentuk tertutup untuk regresi — tepat, tidak perlu pengambilan sampel untuk data sedang.
- Pemilihan kernel mengkodekan pengetahuan domain yang kaya tentang kehalusan, periodisitas, dan struktur.
- Kemungkinan marjinal log memberikan pembelajaran hiperparameter otomatis dan perbandingan model.
- Secara alami mendukung pembelajaran aktif dan optimasi Bayesian dengan mengukur di mana ketidakpastian tertinggi.
- Efisien sampel: berkinerja baik pada kumpulan data kecil di mana pembelajaran mendalam tidak dapat digeneralisasi.
Penerapan
- Optimasi Bayesian untuk penyetelan hiperparameter, desain eksperimental, dan AutoML.
- Pemodelan pengganti dalam simulasi teknik dan eksperimen komputer.
- Interpolasi spasial dan geostatistik (Kriging).
- Peramalan deret waktu dengan kuantifikasi ketidakpastian berprinsip.
- Pembelajaran aktif: memilih observasi berikutnya yang paling informatif berdasarkan varians posterior.
- Inferensi ilmiah di mana propagasi ketidakpastian diperlukan bersama dengan prediksi.
Cara kerjanya
Cara kerjanya
Prior GP didefinisikan oleh fungsi rata-rata m(x) — sering kali diatur ke nol — dan fungsi kovarians (kernel) k(x,x') yang mengkodekan bagaimana keluaran pada dua masukan berko-variasi. Bersama-sama mereka menentukan distribusi atas semua fungsi, dari mana model mengambil sampel solusi kandidat sebelum data dilihat.
Rumus
f(\mathbf{x}) \sim \mathcal{GP}(m(\mathbf{x}),\, k(\mathbf{x},\mathbf{x}'))Kernel adalah pilihan pemodelan sentral. Kernel umum termasuk kernel eksponensial kuadrat (RBF), Matern, periodik, dan linier, masing-masing mengkodekan asumsi berbeda tentang kehalusan, periodisitas, atau tren. Pengetahuan domain digunakan untuk memilih atau menyusun kernel yang sesuai dengan perilaku yang diharapkan dari fungsi target.
Diberikan observasi pelatihan (X, y), aturan Bayes diterapkan dalam bentuk tertutup untuk regresi guna memperoleh GP posterior. Rata-rata posterior memberikan prediksi titik pada masukan baru x*, sementara varians posterior mengukur ketidakpastian yang tersisa — menyusut di dekat observasi dan melebar di daerah yang belum dijelajahi.
Rumus
p(f^* | \mathbf{X}, \mathbf{y}, \mathbf{x}^*) = \mathcal{N}(\mu^*, \sigma^{*2})Hiperparameter kernel (skala panjang, varians keluaran, tingkat kebisingan) dipelajari dengan memaksimalkan kemungkinan marjinal log, yang secara otomatis menyeimbangkan kecocokan data terhadap kompleksitas model. Pisau cukur Occam bawaan ini menghindari validasi silang terpisah untuk pemilihan hiperparameter dalam banyak pengaturan.
Rumus
\hat{\boldsymbol{\theta}} = \arg\max \log p(\mathbf{y}|\mathbf{X},\boldsymbol{\theta})Distribusi prediktif akhir pada titik baru adalah Gaussian untuk regresi, menghasilkan rata-rata dan varians. Untuk klasifikasi, langkah aproksimasi tambahan (Laplace, propagasi harapan, atau inferensi variasional) mengubah GP laten menjadi probabilitas kelas.
Kesalahan umum
- Menggunakan kernel RBF default tanpa mempertimbangkan apakah data tersebut sebenarnya mulus dan stasioner.
- Mengabaikan varians prediktif posterior dan hanya melaporkan rata-rata, membuang keuntungan utama model.
- Menerapkan inferensi GP tepat pada kumpulan data besar (n > 10.000) tanpa aproksimasi jarang atau titik induksi, menyebabkan kegagalan memori dan kecepatan.
- Mencampur optimasi hiperparameter GP (kemungkinan marjinal) dengan inferensi Bayesian penuh atas hiperparameter — yang terakhir membutuhkan MCMC dan jarang dilakukan dalam praktik.
- Memperlakukan keluaran GP klasifikasi seolah-olah posterior laten tepat, tanpa memperhitungkan kesalahan aproksimasi dalam kemungkinan non-Gaussian.
Pertanyaan yang sering diajukan
Apakah proses Gaussian secara inheren Bayesian?
Ya. GP mendefinisikan prior atas fungsi, dan mengkondisikan data menghasilkan posterior melalui aturan Bayes. Distribusi prediktif adalah marginalisasi semua fungsi yang masuk akal yang dibobot oleh probabilitas posteriornya, yang merupakan sifat yang mendefinisikan inferensi Bayesian.
Bagaimana cara memilih kernel?
Mulailah dengan menanyakan apakah fungsi diharapkan mulus (RBF/eksponensial kuadrat), periodik (kernel periodik), atau tidak beraturan secara potongan (Matern 3/2 atau 5/2). Kernel dapat digabungkan secara aditif atau multiplikatif untuk menangkap struktur komposit. Validasi pilihan menggunakan kemungkinan marjinal log.
Bisakah saya menggunakan GP pada ribuan titik data?
Inferensi GP tepat memiliki biaya O(n^3), yang layak hingga beberapa ribu titik pada perangkat keras modern. Untuk kumpulan data yang lebih besar, gunakan aproksimasi GP jarang (metode titik induksi seperti FITC atau VFE) atau GP variasional stokastik, yang berskala hingga jutaan observasi.
Apa perbedaan antara regresi GP dan klasifikasi GP?
Regresi GP menggunakan kemungkinan Gaussian, sehingga posterior juga Gaussian dan dapat dihitung dalam bentuk tertutup. Klasifikasi GP menggunakan kemungkinan Bernoulli (atau softmax), yang non-Gaussian, sehingga posterior harus diaproksimasi — umumnya dengan aproksimasi Laplace atau propagasi harapan.
Bagaimana perbandingan GP dengan jaringan saraf?
GP lebih cocok untuk data kecil, memberikan ketidakpastian terkalibrasi secara bawaan, dan dapat diinterpretasikan melalui kernel. Jaringan saraf mendominasi pada data besar berdimensi tinggi. Jaringan saraf dengan lebar tak terbatas dengan aktivasi tertentu secara matematis setara dengan GP, mengungkapkan hubungan teoritis yang dalam antara keduanya.
Metode terkait
Sumber
Rasmussen, C. E., & Williams, C. K. I. (2006). Gaussian Processes for Machine Learning. MIT Press.
ISBN: 978-0-262-18253-9Disalin.Bishop, C. M. (2006). Pattern Recognition and Machine Learning (Ch. 6). Springer.
ISBN: 978-0-387-31073-2Disalin.