Skip to content
Kembali ke hasil pencarian

Pembelajaran Aktif Gaussian Process

Diperkenalkan oleh
MacKay, D. J. C.
Tahun
1992
Jenis
Bayesian active learning
Keluarga
Machine learning

Teks ini adalah terjemahan mesin dan belum ditinjau. Baca versi asli dalam bahasa Inggris

Ukuran huruf

Apa fungsinya?

Gaussian Process Pembelajaran Aktif (GP-AL) menggabungkan model probabilistik Gaussian process dengan strategi kueri pembelajaran aktif, menggunakan ketidakpastian posterior GP untuk memilih contoh tak berlabel yang paling informatif untuk diberi label.

Pendekatan iteratif ini meminimalkan upaya pelabelan sambil memaksimalkan akurasi prediktif, menjadikannya ideal ketika data berlabel langka atau mahal untuk diperoleh.

Intuisi di balik metode

Gaussian process memprediksi tidak hanya nilai tetapi juga seberapa yakin ia. Pembelajaran aktif memanfaatkan ini: alih-alih memberi label data secara acak, algoritma memeriksa semua titik tak berlabel dan meminta manusia (atau oracle) untuk memberi label hanya pada titik di mana GP paling tidak pasti. Setelah pelabelan, GP memperbarui keyakinannya dan siklus berulang. Pendekatan yang ditargetkan ini memperoleh label informatif jauh lebih efisien daripada pengambilan sampel acak atau pasif, sering kali mencapai kinerja model yang kuat dengan sebagian kecil data berlabel.

Sejarah

Gagasan menggunakan kriteria teoretis informasi untuk memilih titik pelatihan untuk model probabilistik diformalkan oleh MacKay (1992), yang menunjukkan bahwa memaksimalkan perolehan informasi dari oracle setara dengan memilih titik varians tinggi di bawah model Bayesian. Gaussian process menjadi pilihan yang alami karena menghasilkan distribusi posterior yang tepat. Bidang ini matang selama tahun 2000-an dengan karya Lawrence, Settles (2012), dan komunitas optimasi Bayesian, yang menggunakan kembali kerangka kerja fungsi GP-plus-akuisisi yang sama untuk pencarian hyperparameter.

Kapan digunakan

Gunakan GP-AL ketika data berlabel langka atau mahal untuk diperoleh — dalam eksperimen ilmiah, studi medis, atau pengujian industri — dan ketika Anda memerlukan perkiraan ketidakpastian yang terkalibrasi bersama dengan prediksi. Ini unggul dalam ruang masukan kontinu berdimensi rendah hingga menengah dengan fungsi yang halus atau agak nonlinier, dan dalam pengaturan dengan kumpulan data kecil hingga sedang (hingga beberapa ribu titik). Jangan gunakan ketika ruang masukan berdimensi sangat tinggi (kernel GP diskalakan dengan buruk), ketika kumpulan data sudah besar (inferensi GP adalah O(n^3)), atau ketika biaya pelabelan oracle dapat diabaikan dan pengambilan sampel acak sudah cukup.

Batasan dan pertimbangan

  • Kompleksitas komputasi kubik O(n^3) dalam jumlah titik berlabel membuat penskalaan hingga ribuan pengamatan menjadi mahal tanpa aproksimasi titik yang jarang atau menginduksi.
  • Kinerja menurun di ruang masukan berdimensi tinggi karena kernel GP kesulitan menangkap struktur secara efisien.
  • Mengasumsikan oracle selalu tersedia dan dapat memberi label pada titik mana pun yang dikueri tanpa kesalahan atau penundaan.
  • Pemilihan kernel tidak sepele; kernel yang salah spesifikasi dapat menyebabkan ketidakpastian yang buruk terkalibrasi dan kueri yang suboptimal.

Syarat dari sumber tidak menggantikan tinjauan ilmiah independen atau validasi oleh mesin analisis.

Kelebihan

  • Kuantifikasi ketidakpastian yang berprinsip: posterior GP secara langsung mendorong strategi kueri tanpa heuristik.
  • Efisiensi label yang dramatis — mencapai akurasi yang sebanding dengan model yang dilatih secara pasif dengan contoh berlabel jauh lebih sedikit.
  • Pilihan kernel yang fleksibel memungkinkan praktisi untuk menyandikan pengetahuan domain tentang kehalusan fungsi.
  • Menyediakan interval kepercayaan yang terkalibrasi bersama dengan prediksi, mendukung pengambilan keputusan hilir.
  • Menangani kumpulan data kecil hingga sedang dengan baik, di mana pendekatan pembelajaran mendalam biasanya berkinerja buruk.
  • Lingkaran pembelajaran aktif dapat diinterpretasikan: setiap kueri dibenarkan oleh skor ketidakpastian yang terukur.

Penerapan

  • Penemuan obat dan ilmu material, di mana setiap eksperimen mahal dan permukaan masukan-keluaran tidak diketahui.
  • Anotasi pencitraan medis, memilih pemindaian yang paling ambigu untuk ditinjau oleh ahli radiologi.
  • Robotika dan sistem otonom untuk secara efisien mempelajari kebijakan kontrol dari umpan balik sensor yang jarang.
  • Pemantauan lingkungan, mengarahkan sensor ke lokasi ketidakpastian spasial maksimum.
  • Optimasi hyperparameter (optimasi Bayesian), di mana GP memodelkan permukaan kerugian dan kueri aktif memilih konfigurasi berikutnya untuk dievaluasi.

Cara kerjanya

Cara kerjanya

1

Mulai dengan kumpulan data berlabel awal yang kecil dan tentukan kernel GP (misalnya, eksponensial kuadrat, Matern) dan model kebisingan. Kernel menyandikan asumsi prior tentang kehalusan dan skala panjang dari fungsi yang dipelajari.

2

Sesuaikan GP dengan kumpulan berlabel saat ini. GP mengembalikan distribusi prediktif posterior di seluruh ruang keluaran — prediksi rata-rata dan varians (ketidakpastian) untuk setiap titik, termasuk semua kandidat tak berlabel.

Rumus
p(f^* | X, y, x^*) = \mathcal{N}(\mu^*, \sigma^{*2})
3

Terapkan fungsi akuisisi — paling umum adalah varians prediktif maksimum, tetapi juga entropi atau peningkatan yang diharapkan — untuk memberi peringkat titik tak berlabel. Titik dengan skor tertinggi dipilih untuk diberi label karena membawa informasi paling banyak untuk mengurangi ketidakpastian model.

Rumus
x^* = \arg\max_{x \in \mathcal{U}} \sigma^2(x)
4

Sajikan titik yang dipilih ke oracle (anotator manusia, eksperimen, atau sensor otomatis) untuk diberi label. Label sebenarnya diperoleh dan ditambahkan ke kumpulan data berlabel yang terus bertambah.

5

Sesuaikan kembali GP dengan titik berlabel baru yang disertakan. Karena GP mendukung pembaruan Bayesian yang tepat, posterior bergeser untuk mencerminkan pengamatan baru, mengurangi ketidakpastian di dekat titik itu dan berpotensi membentuknya kembali di tempat lain.

6

Ulangi siklus akuisisi-kueri-pembaruan hingga anggaran (jumlah label, waktu komputasi, atau ambang batas akurasi target) terpenuhi. Pada penghentian, GP akhir digunakan untuk prediksi pada data uji baru.

Kesalahan umum

  • Menggunakan kernel RBF default tanpa memvalidasi apakah fungsi tersebut sebenarnya halus — asumsi kehalusan yang salah spesifikasi mendistorsi perkiraan ketidakpastian dan pemilihan kueri.
  • Mengabaikan strategi inisialisasi: kumpulan berlabel awal yang buruk (misalnya, semuanya dari wilayah sempit) membiaskan model dan menunda eksplorasi.
  • Lupa menormalisasi masukan dan keluaran; GP sensitif terhadap skala, dan data yang tidak dinormalisasi dapat menyebabkan ketidakstabilan numerik dalam matriks kovarians.
  • Memperlakukan skor akuisisi sebagai ukuran kepentingan absolut daripada peringkat relatif dalam kumpulan tak berlabel saat ini.
  • Menerapkan GP-AL ke kumpulan data ribuan contoh tanpa aproksimasi GP yang jarang, yang mengarah pada waktu berjalan yang tidak terjangkau.

Pertanyaan yang sering diajukan

Bagaimana GP-AL berbeda dari regresi Gaussian process standar?

Regresi GP standar secara pasif menyesuaikan data berlabel apa pun yang disediakan. GP-AL menambahkan loop luar yang secara aktif memilih titik tak berlabel mana yang akan diberi label selanjutnya, dipandu oleh ketidakpastian GP, sehingga model belajar lebih banyak per label yang diperoleh.

Fungsi akuisisi apa yang harus saya gunakan?

Varians prediktif maksimum adalah pilihan paling sederhana dan paling umum dan bekerja dengan baik untuk eksplorasi murni. Peningkatan yang diharapkan atau kriteria berbasis entropi dapat lebih disukai ketika ada nilai target tertentu atau batas klasifikasi yang akan dilokalisasi.

Berapa banyak titik berlabel awal yang saya perlukan untuk memulai?

Beberapa — seringkali 5 hingga 20 — dipilih untuk mencakup ruang masukan (misalnya, melalui desain Latin hypercube atau space-filling) sudah cukup untuk menginisialisasi GP dan menghasilkan perkiraan ketidakpastian yang bermakna untuk putaran kueri pertama.

Apakah metode ini berfungsi untuk tugas klasifikasi?

Ya, menggunakan klasifikasi GP (dengan fungsi tautan probit atau logistik). Kuantifikasi ketidakpastian memerlukan inferensi perkiraan (misalnya, aproksimasi Laplace atau propagasi ekspektasi), yang membuatnya sedikit lebih kompleks daripada kasus regresi.

Kapan saya harus memilih random forest atau neural network daripada GP-AL?

Ketika kumpulan data besar (ribuan atau lebih contoh berlabel) atau berdimensi tinggi (banyak fitur masukan), karena biaya komputasi GP dan ekspresivitas kernel menjadi terbatas. Jaringan saraf dengan dropout Monte Carlo dapat berfungsi sebagai alternatif yang dapat diskalakan untuk pembelajaran aktif dalam rezim tersebut.

Metode terkait

Sumber

  1. MacKay, D. J. C. (1992). Information-based objective functions for active data selection. Neural Computation, 4(4), 590–604.

    Buka referensi DOI
    Disalin.
  2. Settles, B. (2012). Active Learning. Synthesis Lectures on Artificial Intelligence and Machine Learning. Morgan & Claypool.

    Buka referensi publikasi
    Disalin.