Skip to content
Kembali ke hasil pencarian

Proses Gaussian

Diperkenalkan oleh
Rasmussen, C. E. & Williams, C. K. I.
Tahun
2006 (book); roots in Kriging, 1951)
Jenis
Probabilistic non-parametric model
Keluarga
Machine learning

Teks ini adalah terjemahan mesin dan belum ditinjau. Baca versi asli dalam bahasa Inggris

Ukuran huruf

Apa fungsinya?

Proses Gaussian (GP) adalah model pembelajaran mesin non-parametrik yang sepenuhnya probabilistik yang menempatkan distribusi prior secara langsung pada fungsi.

Alih-alih memprediksi satu nilai, ia mengembalikan rata-rata prediktif dan estimasi ketidakpastian yang terkalibrasi pada setiap titik uji, menjadikannya sangat berharga untuk regresi pada kumpulan data kecil hingga menengah dan untuk tugas optimasi Bayesian.

Intuisi di balik metode

Alih-alih menyesuaikan kurva tetap ke data Anda, Proses Gaussian mempertahankan seluruh distribusi atas kurva yang mungkin yang konsisten dengan apa yang telah Anda amati. Sebelum melihat data, ia mengasumsikan fungsi harus mulus (sebagaimana didefinisikan oleh kernel). Setelah melihat data, ia mempersempit distribusi tersebut: titik uji yang berdekatan menerima prediksi yang ketat dan percaya diri, sementara daerah yang jauh atau jarang data menghasilkan pita ketidakpastian yang lebar. Kuantifikasi ketidakpastian bawaan inilah yang membedakan GP dari kebanyakan model lain.

Sejarah

Proses Gaussian berakar pada Kriging, yang dikembangkan oleh Danie Krige dalam geostatistik pada tahun 1950-an dan diformalkan oleh Georges Matheron. Adopsi mereka dalam pembelajaran mesin sebagian besar didorong oleh Carl Rasmussen dan Christopher Williams yang buku MIT Press 2006 mereka menjadi referensi definitif, menetapkan GP sebagai alternatif non-parametrik Bayesian yang berprinsip untuk jaringan saraf dan SVM kernel, terutama untuk pengaturan di mana kuantifikasi ketidakpastian sangat penting.

Kapan digunakan

Proses Gaussian unggul pada kumpulan data kecil hingga menengah (hingga beberapa ribu baris) di mana kuantifikasi ketidakpastian penting — misalnya, eksperimen ilmiah, desain teknik, atau pemodelan pengganti untuk simulasi yang mahal. Mereka adalah metode pilihan untuk optimasi Bayesian. Pilih GP daripada model yang lebih sederhana ketika Anda membutuhkan interval prediksi yang terkalibrasi daripada hanya estimasi titik, dan ketika hubungan antara masukan dan keluaran diharapkan mulus. Hindari GP ketika n melebihi kira-kira 10.000 observasi, karena inferensi eksak berskala sebagai O(n^3) membuatnya tidak praktis secara komputasi tanpa perkiraan. GP juga kesulitan dengan ruang masukan berdimensi sangat tinggi dan dengan fungsi yang tidak kontinu atau sangat non-stasioner kecuali kernel yang disesuaikan dengan hati-hati digunakan.

Batasan dan pertimbangan

  • Inferensi eksak adalah O(n^3) dalam waktu dan O(n^2) dalam memori, membuatnya tidak praktis untuk n besar tanpa metode GP yang jarang atau perkiraan.
  • Kinerja menurun di ruang masukan berdimensi sangat tinggi karena kutukan dimensionalitas dalam jarak kernel.
  • Memilih dan menggabungkan kernel membutuhkan pengetahuan domain; kernel yang dipilih dengan buruk mengarah pada kalibrasi ketidakpastian yang buruk.
  • Klasifikasi (klasifier GP) membutuhkan perkiraan Laplace atau propagasi ekspektasi tambahan, menambah kompleksitas.

Syarat dari sumber tidak menggantikan tinjauan ilmiah independen atau validasi oleh mesin analisis.

Kelebihan

  • Mengembalikan interval ketidakpastian prediktif yang terkalibrasi bersama dengan prediksi titik.
  • Sangat efisien sampel — berkinerja baik pada kumpulan data kecil di mana model berbasis pohon mengalami overfitting.
  • Pilihan kernel secara fleksibel mengkodekan pengetahuan domain tentang kehalusan, periodisitas, atau skala.
  • Hyperparameter dipelajari dari data melalui kemungkinan marjinal, memberikan regularisasi otomatis.
  • Kerangka kerja asli untuk optimasi Bayesian dan desain eksperimental pembelajaran aktif.

Penerapan

  • Regresi pada kumpulan data ilmiah dan teknik kecil hingga menengah yang membutuhkan interval kepercayaan yang terkalibrasi.
  • Optimasi Bayesian dari fungsi kotak hitam yang mahal seperti penyetelan hyperparameter atau desain eksperimental.
  • Pemodelan pengganti untuk simulasi komputer yang mahal dalam kedirgantaraan, ilmu material, dan pemodelan iklim.
  • Interpolasi spasial-waktu dan pemetaan geostatistik (Kriging).
  • Pembelajaran aktif: menggunakan varians posterior untuk memilih pengukuran berikutnya yang paling informatif.
  • Pemodelan deret waktu dengan kernel periodik atau komposit yang mengkodekan struktur musiman.

Cara kerjanya

Cara kerjanya

1

Fungsi kernel (umumnya kuadrat-eksponensial / RBF) mengkodekan keyakinan prior tentang kehalusan fungsi dan skala panjang. Ia mengukur kesamaan antara dua titik masukan: masukan yang serupa harus menghasilkan keluaran yang serupa. Pilihan bentuk kernel sangat mengatur jenis fungsi yang dapat direpresentasikan oleh GP.

Rumus
k(\mathbf{x}, \mathbf{x}') = \sigma^2 \exp\!\left(-\frac{\|\mathbf{x}-\mathbf{x}'\|^2}{2l^2}\right)
2

Sebelum data apa pun diamati, GP mendefinisikan distribusi prior atas fungsi: setiap koleksi nilai fungsi yang terbatas secara bersama-sama Gaussian dengan fungsi rata-rata m(x) dan kovarians yang diberikan oleh kernel. Prior ini adalah keyakinan awal tentang bagaimana fungsi yang tidak diketahui berperilaku.

Rumus
f(\mathbf{x}) \sim \mathcal{GP}(m(\mathbf{x}),\, k(\mathbf{x}, \mathbf{x}'))
3

Mengondisikan prior pada data pelatihan yang diamati menghasilkan distribusi posterior, juga Gaussian. Rata-rata posterior menjadi prediksi titik pada input baru x*, dan varians posterior memberikan interval kepercayaan yang terkalibrasi, secara otomatis menyempit di mana data pelatihan padat.

Rumus
f_* \mid \mathbf{X}, \mathbf{y}, \mathbf{x}_* \sim \mathcal{N}(\mu_*, \sigma^2_*)
4

Hyperparameter kernel (skala panjang, varians keluaran, tingkat kebisingan) diestimasi dengan memaksimalkan kemungkinan marjinal log dari data pelatihan. Optimasi ini menyeimbangkan kecocokan data terhadap kompleksitas model, melakukan regularisasi otomatis tanpa istilah penalti terpisah.

Rumus
\hat{\boldsymbol{\theta}} = \arg\max_{\boldsymbol{\theta}} \log p(\mathbf{y} \mid \mathbf{X}, \boldsymbol{\theta})
5

Pada waktu prediksi, rata-rata posterior dikembalikan sebagai estimasi titik dan standar deviasi posterior sebagai pita ketidakpastian. Keduanya dapat digunakan secara langsung: laporkan rata-rata untuk tebakan terbaik dan interval untuk mengkomunikasikan seberapa percaya diri model pada setiap lokasi input baru.

Kesalahan umum

  • Menggunakan kernel RBF default tanpa memeriksa apakah fungsi tersebut benar-benar stasioner dan mulus — pola periodik atau tidak kontinu memerlukan kernel yang berbeda.
  • Lupa untuk menstandarkan masukan dan keluaran kontinu sebelum menyesuaikan, yang mengarah pada matriks kovarians yang buruk kondisinya.
  • Memperlakukan rata-rata posterior saja sebagai hasil dan mengabaikan pita ketidakpastian, yang merupakan kontribusi utama model.
  • Menerapkan GP eksak ke kumpulan data dengan n di atas ~5.000 tanpa beralih ke perkiraan GP yang jarang atau titik induksi.
  • Menggabungkan kebisingan aleatorik (kesalahan pengukuran yang tidak dapat dikurangi) dengan ketidakpastian epistemik (ketidakpastian model) saat menafsirkan keluaran varians.

Pertanyaan yang sering diajukan

Kernel apa yang harus saya mulai?

Kernel kuadrat-eksponensial (RBF) adalah titik awal default karena menghasilkan fungsi yang dapat dibedakan tak terhingga, mulus, dan memiliki hyperparameter skala panjang dan varians keluaran yang dapat diinterpretasikan. Beralih ke kernel Matern jika Anda mengharapkan fungsi tersebut kurang mulus, atau tambahkan komponen periodik untuk data musiman.

Dataset saya memiliki 50.000 baris. Bisakah saya masih menggunakan GP?

Inferensi GP eksak akan memberatkan pada skala itu. Pertimbangkan metode GP jarang (misalnya, titik induksi / FITC) atau GP variasional stokastik, keduanya membawa biaya pelatihan turun menjadi sekitar O(nm^2) di mana m adalah jumlah titik induksi (m << n). Pustaka seperti GPyTorch mengimplementasikan ini secara efisien.

Bagaimana GP berbeda dari regresi linier Bayesian?

Regresi linier Bayesian menempatkan prior atas himpunan koefisien berhingga yang tetap; oleh karena itu, fleksibilitas model terbatas oleh fungsi basis yang dipilih. GP menempatkan prior secara langsung pada fungsi dalam ruang berdimensi tak terhingga, sehingga kompleksitas efektifnya beradaptasi dengan data tanpa mengharuskan Anda untuk menentukan ekspansi basis terlebih dahulu.

Apakah estimasi ketidakpastian benar-benar terkalibrasi?

Di bawah model dan kernel yang benar, ketidakpastian posterior GP terkalibrasi dengan baik berdasarkan konstruksi. Dalam praktiknya, miskalibrasi timbul dari spesifikasi kernel yang salah atau mengabaikan struktur kebisingan. Selalu lakukan pemeriksaan prediktif posterior — plot yang diamati vs. yang diprediksi dengan cakupan interval kredibel.

Bisakah Proses Gaussian menangani masukan kategorikal atau tipe campuran?

Kernel GP standar beroperasi pada masukan kontinu. Masukan kategorikal memerlukan kernel khusus (misalnya, kernel jarak Hamming) atau pengkodean. Untuk data campuran yang sebagian besar kategorikal atau berdimensi sangat tinggi, model berbasis pohon seperti Random Forest atau gradient boosting biasanya merupakan titik awal yang lebih baik.

Metode terkait

Sumber

  1. Rasmussen, C. E., & Williams, C. K. I. (2006). Gaussian Processes for Machine Learning. MIT Press.

    ISBN: 978-0-262-18253-9
    Disalin.
  2. Gaussian process. Wikipedia.

    Buka referensi publikasi
    Disalin.