Gaussian Process Semi-Terawasi
- Diperkenalkan oleh
- Lawrence, N. D. & Jordan, M. I.
- Tahun
- 2004
- Jenis
- Probabilistic model (semi-supervised)
- Keluarga
- Machine learning
Teks ini adalah terjemahan mesin dan belum ditinjau. Baca versi asli dalam bahasa Inggris
Apa fungsinya?
Gaussian Process Semi-Terawasi memperluas kerangka kerja probabilistik GP untuk memanfaatkan data tak berlabel bersama dengan sejumlah kecil observasi berlabel.
Dengan menempatkan prior GP pada fungsi dan memanfaatkan struktur geometris yang diungkapkan oleh masukan tak berlabel, ia mempelajari prediktor yang lebih akurat dan terkalibrasi lebih baik daripada GP yang sepenuhnya terawasi ketika label langka, membuatnya sangat cocok untuk masalah ilmiah dan medis di mana anotasi mahal.
Intuisi di balik metode
Gaussian Process standar mendefinisikan distribusi atas fungsi-fungsi mulus dan mengkondisikan pada titik-titik pelatihan berlabel untuk membentuk prediksi. Ketika label jarang, posterior yang dikondisikan ini sangat tidak pasti di daerah yang jarang datanya. GP Semi-Terawasi mengatasi hal ini dengan juga menggunakan masukan tak berlabel untuk mengungkapkan manifold yang mendasarinya atau struktur kepadatan ruang masukan. Kernel — yang mengkodekan kesamaan — kemudian dapat dibentuk oleh banyak titik tak berlabel, sehingga model mempelajari di mana data berada sebelum melihat label apa pun. Hal ini secara tajam mengurangi ketidakpastian posterior dan meningkatkan generalisasi dari beberapa contoh berlabel.
Sejarah
Kerangka kerja GP semi-terawasi secara formal diperkenalkan oleh Lawrence dan Jordan di NeurIPS 2004, dibangun di atas GP dasar Rasmussen dan Williams untuk pembelajaran mesin (buku 2006, manuskrip sebelumnya beredar dari 1996). Pendekatan ini menggabungkan ide-ide dari regularisasi manifold, Laplacian graf, dan non-parametrik Bayesian, dan telah mempengaruhi karya selanjutnya pada GP jarang, pembelajaran kernel mendalam, dan jaringan saraf graf dengan keluaran probabilistik.
Kapan digunakan
Gunakan Gaussian Process Semi-Terawasi ketika data berlabel langka tetapi data tak berlabel melimpah, Anda memerlukan estimasi ketidakpastian terkalibrasi bersama dengan prediksi, dan ruang masukan memiliki struktur geometris mulus yang dapat diterangi oleh titik-titik tak berlabel. Ini unggul dalam pengaturan biologi, medis, dan sains fisika di mana anotasi mahal. Hindari ketika dataset besar (ribuan titik berlabel), karena inferensi GP berskala sebagai O(n^3) dalam jumlah titik berlabel dan menjadi terlalu mahal secara komputasi. Juga hindari ketika dimensi masukan sangat tinggi (di atas ~50 fitur) tanpa rekayasa kernel yang cermat, atau ketika koefisien yang dapat diinterpretasikan daripada prediksi probabilistik adalah hasil utama.
Batasan dan pertimbangan
- Skala kubik O(n^3) dalam jumlah titik berlabel membuatnya tidak praktis di luar beberapa ribu observasi tanpa aproksimasi jarang.
- Inferensi perkiraan (Laplace, EP) diperlukan untuk kemungkinan non-Gaussian seperti klasifikasi, memperkenalkan kesalahan perkiraan.
- Kinerja sangat bergantung pada pilihan kernel dan asumsi bahwa titik-titik tak berlabel secara setia mewakili manifold data.
- Optimasi hyperparameter yang intensif secara komputasi bisa lambat dan mungkin konvergen ke optima lokal yang buruk dalam dimensi tinggi.
Syarat dari sumber tidak menggantikan tinjauan ilmiah independen atau validasi oleh mesin analisis.
Kelebihan
- Menghasilkan distribusi prediktif penuh, memberikan ketidakpastian terkalibrasi bersama dengan setiap prediksi.
- Data tak berlabel dapat secara dramatis meningkatkan akurasi ketika label langka, membuat anggaran anotasi lebih jauh.
- Fleksibilitas kernel memungkinkan pengkodean pengetahuan domain tentang kehalusan, periodisitas, atau geometri masukan.
- Kerangka kerja Bayesian yang berprinsip mendukung pemilihan hyperparameter melalui maksimasi kemungkinan marjinal.
- Secara alami menangani tugas prediksi multi-output dan terstruktur melalui ekstensi GP multi-output.
Penerapan
- Prediksi aktivitas obat dari deskriptor molekuler dengan sedikit senyawa berlabel uji.
- Klasifikasi pencitraan medis di mana anotasi ahli terbatas tetapi pemindaian mentah berlimpah.
- Pemodelan sensor lingkungan menggunakan pembacaan terkalibrasi yang jarang dan pengukuran tak terkalibrasi yang padat.
- Klasifikasi ekspresi gen dengan label fenotipe terbatas tetapi dataset transkriptomik besar.
- Prediksi sifat material dalam kimia dan fisika di mana pengukuran eksperimental berlabel mahal.
Cara kerjanya
Cara kerjanya
Fungsi kernel k(x_i, x_j) mengkodekan keyakinan prior tentang kehalusan dan skala fungsi target. Untuk pengaturan semi-terawasi, kernel berbasis graf atau yang diadaptasi manifold dibangun dari semua masukan yang tersedia — baik berlabel maupun tak berlabel — sehingga metrik kesamaan mencerminkan geometri data yang sebenarnya daripada jarak Euclidean mentah.
Rumus
k(x_i, x_j) = \sigma^2 \exp\!\left(-\frac{\|x_i - x_j\|^2}{2\ell^2}\right)Prior fungsi laten nol-rata-rata GP f ~ GP(0, k) ditempatkan di atas fungsi laten. Karena kernel diestimasi dari kumpulan tak berlabel penuh, prior ini sudah mengkodekan struktur geometris manifold masukan sebelum label apa pun dimasukkan.
Rumus
f \sim \mathcal{GP}(0, k)Titik tak berlabel diintegrasikan ke dalam model baik dengan membangun regularizer Laplacian graf atas semua masukan, atau dengan memperlakukan nilai fungsi laten pada lokasi tak berlabel sebagai variabel bantu yang dimarginalkan selama inferensi. Kedua pendekatan memungkinkan kumpulan tak berlabel yang besar untuk membatasi dan menstabilkan posterior.
Pengkondisian pada observasi berlabel memperbarui prior GP menjadi posterior atas fungsi. Dalam pengaturan klasifikasi ini melibatkan inferensi perkiraan (aproksimasi Laplace atau propagasi ekspektasi) karena kemungkinan Gaussian diganti dengan model observasi non-Gaussian.
Rumus
p(f^* | X, y, X_*) \propto p(y | f) \, p(f | X, X_*)
Untuk masukan baru apa pun x*, distribusi prediktif posterior dihitung secara analitis (regresi) atau melalui perkiraan (klasifikasi). Keluaran adalah distribusi prediktif penuh — rata-rata dan varians — memberikan tidak hanya estimasi titik tetapi juga ketidakpastian terkalibrasi, yang penting dalam domain ilmiah berlabel rendah.
Rumus
\hat{y}^* = \mathbb{E}[f^* | X, y, x^*]Kesalahan umum
- Mengabaikan biaya O(n^3) dan mencoba menyesuaikan GP padat pada ribuan titik tanpa aproksimasi titik penginduksi yang jarang.
- Menggunakan kernel jarak Euclidean standar tanpa mengadaptasinya ke manifold data, yang menyia-nyiakan kumpulan tak berlabel.
- Memperlakukan rata-rata posterior sebagai prediksi keras dan membuang estimasi ketidakpastian, yang merupakan keuntungan utama dibandingkan metode diskriminatif.
- Gagal memvalidasi pada set berlabel yang ditahan, karena data tak berlabel dapat memperkenalkan pergeseran distribusi halus jika tidak cocok dengan domain pengujian.
- Menerapkan metode ketika rasio berlabel terhadap tak berlabel sudah tinggi, di mana kompleksitas tambahan memberikan manfaat yang dapat diabaikan dibandingkan GP terawasi.
Pertanyaan yang sering diajukan
Bagaimana ini berbeda dari Gaussian Process terawasi standar?
GP terawasi hanya mengkondisikan pada data berlabel dan mengabaikan masukan tak berlabel. Varian semi-terawasi menggunakan masukan tak berlabel untuk membentuk kernel atau membatasi prior fungsi sebelum mengkondisikan pada label, sehingga mengeksploitasi manifold data dan mencapai kesalahan generalisasi yang lebih rendah ketika label langka.
Apa hambatan komputasi utama?
Inferensi GP bersifat kubik terhadap jumlah titik pelatihan. Metode titik penginduksi jarang (misalnya, FITC, VFE) menguranginya menjadi O(nm^2) di mana m adalah jumlah titik penginduksi (biasanya 50–500), membuat GP semi-terawasi skala besar menjadi layak.
Bagaimana cara memilih kernel untuk integrasi data tak berlabel?
Pendekatan umum adalah kernel Laplacian graf atau difusi panas yang dihitung atas semua masukan. Alternatifnya, kernel RBF standar dengan skala panjang yang disetel pada distribusi masukan penuh (berlabel + tak berlabel) bekerja cukup baik ketika data berdimensi rendah dan terdistribusi secara mulus.
Apakah ketidakpastian terkalibrasi dipertahankan setelah mengintegrasikan data tak berlabel?
Secara prinsip ya — kerangka kerja Bayesian menghasilkan posterior terkalibrasi — tetapi aproksimasi yang diperkenalkan untuk klasifikasi (Laplace, EP) dan metode jarang (titik penginduksi) dapat mengurangi kalibrasi. Merupakan praktik yang baik untuk mengevaluasi expected calibration error (ECE) pada set validasi berlabel.
Kapan saya harus memilih SVM semi-terawasi daripada metode ini?
Pilih SVM semi-terawasi (S3VM/transductive SVM) ketika Anda memerlukan batas keputusan berbasis margin yang sederhana, memiliki fitur jarang berdimensi tinggi (misalnya, teks), dan tidak memerlukan estimasi ketidakpastian. Pilih GP semi-terawasi ketika keluaran probabilistik dan fleksibilitas kernel penting.
Metode terkait
Sumber
Lawrence, N. D., & Jordan, M. I. (2004). Semi-supervised learning via Gaussian processes. In Advances in Neural Information Processing Systems (NIPS), 17, 753–760. MIT Press.
Buka referensi publikasiDisalin.Rasmussen, C. E., & Williams, C. K. I. (2006). Gaussian Processes for Machine Learning. MIT Press.
ISBN: 978-0-262-18253-9Disalin.