Skip to content
Kembali ke hasil pencarian

Optimasi Bayesian — Penyetelan Hiperparameter Berbasis Model Sekuensial

Diperkenalkan oleh
Mockus (1975); popularised for ML by Snoek, Larochelle & Adams (2012)
Tahun
1975 (foundational); 2012 (ML standard)
Jenis
Sequential model-based black-box optimization

Teks ini adalah terjemahan mesin dan belum ditinjau. Baca versi asli dalam bahasa Inggris

Ukuran huruf

Apa fungsinya?

Optimasi Bayesian adalah strategi sekuensial berbasis model untuk menemukan optimum dari fungsi kotak hitam yang mahal dengan evaluasi sesedikit mungkin.

Berakar dari karya Mockus (1975) dan dibawa ke praktik pembelajaran mesin arus utama oleh Snoek, Larochelle, dan Adams (2012), metode ini menyesuaikan model pengganti probabilistik — biasanya Proses Gaussian — terhadap observasi masa lalu dan menggunakan fungsi akuisisi untuk memutuskan di mana akan melakukan probing selanjutnya, menyeimbangkan eksplorasi wilayah yang belum diketahui dengan eksploitasi wilayah yang menjanjikan.

Intuisi di balik metode

Bayangkan Anda harus menemukan pengaturan terbaik untuk model pembelajaran mesin, tetapi setiap percobaan membutuhkan waktu berjam-jam untuk dijalankan. Anda tidak mampu menguji setiap kombinasi. Optimasi Bayesian bertindak seperti ilmuwan yang cermat: ia membangun peta berjalan tentang apa yang telah dicoba dan hasil apa yang kembali, menggunakan peta itu untuk menebak di mana optimum kemungkinan berada, dan kemudian memilih percobaan berikutnya yang paling mungkin meningkatkan hasil terbaik yang terlihat sejauh ini. Seiring bertambahnya percobaan, peta menjadi lebih akurat dan pilihan menjadi lebih cerdas — semua tanpa perlu mengetahui formula matematis di dalam kotak hitam.

Sejarah

Dasar-dasar teoritis Optimasi Bayesian diletakkan oleh Jonas Mockus dan rekan-rekannya pada tahun 1970-an melalui konsep expected improvement untuk desain eksperimental sekuensial. Pendekatan tersebut sebagian besar tetap akademis hingga tahun 2012, ketika Snoek, Larochelle, dan Adams menerbitkan "Practical Bayesian Optimization of Machine Learning Algorithms" di NeurIPS, mendemonstrasikan bahwa Optimasi Bayesian berbasis GP secara konsisten mengungguli penyetelan tangan ahli dan pencarian acak pada tolok ukur ML standar. Karya ini mengkatalisasi pengembangan pustaka khusus dan menjadikan Optimasi Bayesian sebagai standar de facto untuk pencarian hiperparameter dalam pembelajaran mendalam dan pipeline AutoML. Tutorial Peter Frazier tahun 2018 (arXiv:1807.02811) kemudian memberikan perlakuan pedagogis terpadu yang memperluas jangkauan metode di luar komunitas ML.

Kapan digunakan

Optimasi Bayesian adalah pilihan yang tepat ketika fungsi objektif mahal atau lambat untuk dievaluasi — melatih model besar, menjalankan simulasi fisik, atau melakukan eksperimen laboratorium — dan anggaran terbatas pada puluhan atau ratusan evaluasi. Ruang pencarian harus didefinisikan dengan batas eksplisit untuk setiap parameter. Metode ini menangani parameter kontinu dan ordinal secara alami; ruang yang murni kategorikal atau berdimensi sangat tinggi (lebih dari sekitar 20 parameter) dapat menurunkan kualitas pengganti dan mungkin memerlukan ekstensi seperti hutan acak sebagai pengganti atau pra-pemrosesan pengurangan dimensi. Jika evaluasi murah dan paralelisme tersedia, pencarian acak atau pencarian grid yang lebih sederhana mungkin kompetitif.

Batasan dan pertimbangan

  • Skalabilitas buruk ke ruang hiperparameter berdimensi sangat tinggi: penyesuaian Proses Gaussian menjadi mahal secara komputasi dan pengganti kehilangan akurasi di luar sekitar 10–20 dimensi.
  • Sensitif terhadap pilihan kernel pengganti dan fungsi akuisisi: default yang buruk dapat menghambat konvergensi, terutama pada tujuan non-stasioner atau multi-modal.
  • Sekuensial secara default: setiap evaluasi harus selesai sebelum kandidat berikutnya dipilih, membatasi paralelisme kecuali ekstensi mode batch atau asinkron digunakan.
  • Memerlukan ruang pencarian terbatas: parameter tanpa rentang eksplisit tidak dapat ditangani secara langsung.

Syarat dari sumber tidak menggantikan tinjauan ilmiah independen atau validasi oleh mesin analisis.

Kelebihan

  • Efisien Sampel: menemukan konfigurasi yang baik dalam jumlah evaluasi yang jauh lebih sedikit daripada pencarian grid atau pencarian acak, yang penting ketika setiap evaluasi lambat atau mahal.
  • Keseimbangan eksplorasi-eksploitasi yang berprinsip: fungsi akuisisi menyediakan kriteria formal yang dapat diinterpretasikan untuk menentukan di mana harus mencari selanjutnya.
  • Ketidakpastian berbasis model: Proses Gaussian tidak hanya memprediksi kinerja tetapi juga mengukur keyakinannya sendiri, memungkinkan keputusan penghentian yang terinformasi.
  • Dapat diterapkan pada tujuan kotak hitam apa pun: metode ini tidak memerlukan informasi gradien dan pengetahuan matematis tentang bagian dalam tujuan.

Penerapan

  • Menyetel hiperparameter model pembelajaran mesin dan pembelajaran mendalam di mana setiap proses pelatihan mahal secara komputasi.
  • Pencarian Arsitektur Saraf (NAS): memilih pilihan arsitektur seperti lebar lapisan, fungsi aktivasi, dan koneksi pintas.
  • Desain eksperimental dalam teknik dan ilmu alam di mana setiap eksperimen fisik mahal atau memakan waktu.
  • Pipeline Otomatis Pembelajaran Mesin (AutoML) yang memilih algoritma dan hiperparameternya secara bersamaan.
  • Penemuan obat dan ilmu material, di mana mengevaluasi konfigurasi kandidat memerlukan pekerjaan laboratorium.

Cara kerjanya

Cara kerjanya

1

Praktisi mendefinisikan ruang pencarian: setiap hiperparameter yang akan disetel diberi tipe (kontinu, ordinal) dan rentang — batas bawah dan atas — di mana optimizer dapat mencari. Definisi ruang yang jelas adalah prasyarat untuk segalanya dan mencegah pengganti diminta untuk mengekstrapolasi di luar wilayah yang aman.

2

Sejumlah kecil titik dalam ruang pencarian dievaluasi secara acak atau melalui desain pengisi ruang (misalnya, pengambilan sampel Latin hypercube). Observasi awal ini — biasanya lima hingga sepuluh — memberikan data yang cukup bagi pengganti untuk membentuk peta kasar pertama dari lanskap objektif sebelum loop sekuensial dimulai.

3

Semua observasi yang dikumpulkan sejauh ini digunakan untuk menyesuaikan model pengganti probabilistik, paling umum adalah Proses Gaussian. GP mengembalikan prediksi rata-rata dan estimasi ketidakpastian di setiap titik dalam ruang, menangkap baik apa yang diketahui maupun seberapa yakin model tersebut. Pengganti murah untuk dievaluasi, sehingga dapat dikueri ribuan kali sebagai pengganti tujuan sebenarnya yang mahal.

4

Fungsi akuisisi — seperti Expected Improvement (EI) atau Upper Confidence Bound (UCB) — dimaksimalkan di atas pengganti untuk memilih titik kandidat berikutnya. EI mengukur keuntungan yang diharapkan atas yang terbaik saat ini; UCB menambahkan bonus eksplorasi yang dibobot ketidakpastian. Langkah ini adalah tempat pertukaran eksplorasi-eksploitasi diselesaikan: wilayah dengan kinerja prediksi tinggi dan wilayah dengan ketidakpastian tinggi keduanya menarik perhatian.

5

Titik kandidat yang dipilih oleh fungsi akuisisi diteruskan ke tujuan sebenarnya — misalnya, melatih dan memvalidasi jaringan saraf dengan hiperparameter tersebut. Evaluasi ini adalah langkah yang mahal. Hasilnya (skor) dicatat bersama dengan koordinat kandidat.

6

Observasi baru ditambahkan ke kumpulan data, pengganti disesuaikan kembali, dan loop kembali ke langkah akuisisi. Setelah anggaran iterasi habis, konfigurasi hiperparameter yang menghasilkan skor terbaik yang diamati dikembalikan sebagai rekomendasi akhir.

Kesalahan umum

  • Terlalu sedikit probe acak awal membuat pengganti kurang terkalibrasi; gunakan setidaknya lima titik awal, dan lebih banyak di ruang berdimensi lebih tinggi.
  • Menjalankan optimizer untuk total iterasi yang sangat sedikit (kurang dari sekitar sepuluh) berarti pengganti tidak pernah menjadi andal; dalam kasus seperti itu, pencarian acak sederhana lebih disukai.
  • Mengabaikan pilihan fungsi akuisisi: EI mendukung eksploitasi dan dapat terjebak di dekat hasil baik awal; UCB menambahkan eksplorasi melalui bobot kepercayaan yang dapat disetel — tidak ada yang secara universal terbaik, dan default harus diverifikasi terhadap struktur masalah.
  • Memperlakukan Optimasi Bayesian sebagai kotak hitam itu sendiri: selalu periksa jejak konvergensi (skor terbaik yang terlihat vs. iterasi) untuk mendeteksi stagnasi lebih awal.
  • Menerapkan metode ketika evaluasi murah — pencarian acak atau grid akan konvergen sama baiknya dengan biaya overhead implementasi yang lebih rendah.

Pertanyaan yang sering diajukan

Bagaimana Optimasi Bayesian berbeda dari pencarian grid atau pencarian acak?

Pencarian grid mengevaluasi kisi konfigurasi tetap dan pencarian acak mengambil sampel secara seragam secara acak — keduanya mengabaikan hasil percobaan sebelumnya saat memilih titik berikutnya. Optimasi Bayesian secara aktif menggunakan semua observasi masa lalu untuk membangun model pengganti dan memilih titik berikutnya yang paling mungkin untuk meningkatkan yang terbaik saat ini, membuatnya jauh lebih efisien sampel ketika evaluasi mahal.

Fungsi akuisisi apa yang harus saya gunakan?

Expected Improvement (EI) adalah default yang paling banyak digunakan: ia mengukur keuntungan yang diharapkan atas yang terbaik saat ini dan cenderung andal di berbagai jenis masalah. Upper Confidence Bound (UCB) menambahkan bonus eksplorasi yang dapat disetel dan sering kali lebih disukai ketika lanskap kurang dipahami. Probability of Improvement (PI) lebih berat eksploitasi dan dapat konvergen sebelum waktunya. Mulailah dengan EI dan beralih ke UCB jika optimizer tampak stagnan.

Berapa banyak iterasi yang dibutuhkan?

Tidak ada aturan universal, tetapi kurang dari sekitar sepuluh total evaluasi (termasuk probe acak awal) memberikan data yang terlalu sedikit bagi pengganti untuk dapat diandalkan. Penerapan praktis biasanya menggunakan lima hingga sepuluh titik acak awal diikuti oleh dua puluh hingga lima puluh langkah Bayesian sekuensial. Ketika skor terbaik yang terlihat berhenti meningkat selama beberapa iterasi berturut-turut, anggaran dapat dihentikan.

Bisakah Optimasi Bayesian diparalelkan?

Optimasi Bayesian standar secara inheren sekuensial. Ekstensi mode batch memungkinkan pengusulan sekumpulan kandidat secara bersamaan — strategi umum termasuk Local Penalization dan heuristik Kriging Believer — memungkinkan evaluasi paralel. Varian asinkron meluncurkan kandidat baru kapan pun pekerja menjadi bebas daripada menunggu seluruh batch. Ekstensi ini tersedia di pustaka seperti Optuna dan BoTorch.

Metode terkait

Sumber

  1. Snoek, J., Larochelle, H., & Adams, R.P. (2012). Practical Bayesian Optimization of Machine Learning Algorithms. Advances in Neural Information Processing Systems (NeurIPS), 25.

    Buka referensi publikasi
    Disalin.
  2. Frazier, P.I. (2018). A Tutorial on Bayesian Optimization. arXiv:1807.02811.

    Buka referensi publikasi
    Disalin.