Pembelajaran Sedikit Contoh (Few-shot Learning)
- Diperkenalkan oleh
- Lake, B. M.; Vinyals, O.; Finn, C. et al.
- Tahun
- 2011–2017
- Jenis
- Meta-learning / low-data learning paradigm
- Keluarga
- Machine learning
Teks ini adalah terjemahan mesin dan belum ditinjau. Baca versi asli dalam bahasa Inggris
Apa fungsinya?
Pembelajaran sedikit contoh adalah paradigma pembelajaran mesin yang melatih model untuk mengenali kelas baru atau memecahkan tugas baru hanya dari segelintir contoh berlabel — biasanya satu hingga lima — dengan memanfaatkan pengetahuan sebelumnya yang diperoleh dari distribusi pelatihan yang besar dan terkait.
Hal ini sangat relevan dalam domain di mana pelabelan mahal, langka, atau terbatas secara struktural.
Intuisi di balik metode
Manusia dapat secara andal mengidentifikasi spesies burung baru dari satu foto, karena mereka sudah memiliki pengetahuan visual yang kaya dari pengalaman bertahun-tahun. Pembelajaran sedikit contoh mencoba mereplikasi kemampuan ini secara komputasi: model pertama kali diperkenalkan pada banyak tugas yang beragam sehingga ia belajar cara belajar dengan cepat, kemudian pada waktu inferensi ia beradaptasi dengan tugas yang sepenuhnya baru hanya menggunakan set dukungan berlabel yang sangat kecil. Wawasan kuncinya adalah bahwa representasi dan strategi adaptasi yang tepat dapat menggantikan kumpulan data berlabel besar yang dibutuhkan oleh pembelajaran terawasi standar.
Sejarah
Pembelajaran sedikit contoh mendapatkan perhatian formal sekitar tahun 2011 ketika Lake dkk. mendemonstrasikan pembelajaran satu contoh setingkat manusia untuk karakter tulisan tangan menggunakan model induksi program Bayesian hierarkis. Bidang ini dipercepat setelah tahun 2016 dengan pendekatan pembelajaran metrik mendalam — Jaringan Pencocokan Vinyals dkk. dan Jaringan Prototipikal Snell dkk. — diikuti oleh pembelajaran meta-agnostik model (MAML) Finn dkk. pada tahun 2017, yang menyatukan paradigma di bawah adaptasi cepat berbasis gradien. Model pra-terlatih besar sejak itu menjadikan pembelajaran sedikit contoh sebagai kemampuan standar dalam sistem NLP dan visi modern.
Kapan digunakan
Gunakan pembelajaran sedikit contoh ketika data berlabel untuk tugas target benar-benar langka — kurang dari sekitar 10 hingga 20 contoh per kelas — tetapi kumpulan data terkait yang besar tersedia untuk pra-pelatihan atau meta-pelatihan. Kasus penggunaan umum termasuk klasifikasi penyakit langka, pengenalan spesies langka, tugas bahasa sumber daya rendah, dan rekomendasi yang dipersonalisasi dengan pengguna awal yang dingin (cold-start). Jangan gunakan sebagai pengganti pengumpulan lebih banyak data berlabel jika pelabelan memungkinkan; dengan label yang cukup, pembelajaran transfer terawasi penuh atau penyetelan halus (fine-tuned) hampir selalu akan mengungguli metode sedikit contoh. Hindari juga jika distribusi meta-pelatihan sangat berbeda dari domain target, karena ini membatalkan pengetahuan sebelumnya yang dipelajari.
Batasan dan pertimbangan
- Membutuhkan kumpulan meta-pelatihan yang besar dan beragam; kinerja menurun tajam ketika distribusi meta-pelatihan dan target sangat berbeda.
- Metode berbasis optimisasi (misalnya, MAML) padat secara komputasi selama meta-pelatihan karena gradien orde kedua.
- Akurasi tolok ukur pada kumpulan data standar (miniImageNet, Omniglot) dapat melebih-lebihkan kinerja dunia nyata jika domain pengujian berbeda.
- Memilih arsitektur yang tepat, tulang punggung penyematan, dan strategi pengambilan sampel episode melibatkan keputusan hiperparameter yang tidak sepele.
- Dengan lebih dari sekitar 20 contoh berlabel per kelas, pembelajaran transfer standar atau penyetelan halus biasanya menawarkan akurasi yang lebih baik dengan kompleksitas yang lebih sedikit.
Syarat dari sumber tidak menggantikan tinjauan ilmiah independen atau validasi oleh mesin analisis.
Kelebihan
- Memungkinkan pembelajaran praktis dari satu hingga lima contoh berlabel per kelas, secara dramatis mengurangi biaya anotasi.
- Pelatihan episodik secara eksplisit mempersiapkan model untuk skenario penerapan data rendah yang akan dihadapinya.
- Varian berbasis metrik (Jaringan Prototipikal, Jaringan Pencocokan) ringan secara komputasi pada saat inferensi — tidak memerlukan langkah gradien.
- Dapat diterapkan secara luas di seluruh tugas visi, NLP, audio, dan data terstruktur.
- Secara alami terintegrasi dengan model pra-terlatih besar, memungkinkan pengetahuan sebelumnya yang kuat dieksploitasi tanpa penyetelan halus penuh.
Penerapan
- Klasifikasi penyakit langka atau anomali dalam pencitraan medis di mana kasus yang dianotasi secara inheren langka.
- Tugas pemrosesan bahasa alami sumber daya rendah seperti deteksi niat dalam bahasa atau domain baru.
- Personalisasi awal dingin (cold-start) dalam sistem rekomendasi ketika pengguna baru memiliki sangat sedikit interaksi.
- Pengenalan spesies langka atau spesies halus dalam pemantauan ekologi dan keanekaragaman hayati.
- Deteksi cacat industri ketika hanya segelintir sampel cacat yang tersedia untuk pelatihan.
- Prototipe cepat tugas klasifikasi baru dalam robotika dan pembelajaran mesin interaktif.
Cara kerjanya
Cara kerjanya
Pelatihan diorganisir ke dalam episode, masing-masing mensimulasikan skenario sedikit contoh. Di setiap episode, sejumlah kecil kelas diambil dari kumpulan pelatihan, dan model harus belajar membedakannya. Pelatihan episodik ini memastikan bahwa pengetahuan sebelumnya model terstruktur untuk adaptasi cepat daripada hafalan khusus kelas.
Setiap episode membagi contohnya menjadi set dukungan (contoh berlabel sedikit yang dapat digunakan model) dan set kueri (contoh yang ditahan yang digunakan untuk mengukur seberapa baik model menggeneralisasi). Tugas k-shot, n-way menyediakan k contoh berlabel untuk masing-masing dari n kelas baru. Struktur ini mencerminkan skenario penerapan pada waktu pelatihan.
Model mempelajari fungsi penyematan — biasanya jaringan saraf dalam — yang memetakan masukan ke ruang fitur di mana contoh kelas yang sama mengelompok bersama dan contoh kelas yang berbeda dipisahkan. Kualitas representasi bersama ini adalah penentu utama akurasi sedikit contoh hilir.
Pada waktu pengujian, model menghitung kesamaan antara penyematan kueri dan penyematan dukungan (metode berbasis metrik seperti Jaringan Pencocokan atau Jaringan Prototipikal) atau melakukan sejumlah kecil langkah gradien untuk mengadaptasi parameternya ke set dukungan (metode berbasis optimisasi seperti MAML). Kedua strategi memanfaatkan representasi yang dipelajari tanpa melatih ulang dari awal.
Kerugian pada set kueri digunakan untuk memperbarui parameter meta-pembelajar di seluruh episode, sehingga representasi dan strategi adaptasi meningkat secara global. Pada penerapan, model akhir beradaptasi dengan set dukungan baru apa pun dalam hitungan detik, membuat prediksi pada contoh kueri yang belum terlihat tanpa optimisasi lebih lanjut.
Kesalahan umum
- Mencampuradukkan pembelajaran sedikit contoh dengan pembelajaran tanpa contoh (zero-shot learning): pembelajaran sedikit contoh memerlukan setidaknya satu contoh berlabel per kelas baru pada waktu pengujian.
- Mengevaluasi pada kelas pengujian yang terlihat selama meta-pelatihan, meningkatkan akurasi yang dilaporkan.
- Mengabaikan kesenjangan domain: model yang di-meta-latih pada ImageNet tidak akan secara otomatis menggeneralisasi ke histologi medis tanpa adaptasi domain.
- Menggunakan kerugian terawasi standar tanpa pelatihan episodik dan mengharapkan generalisasi sedikit contoh.
- Melaporkan hanya akurasi top-1 tanpa interval kepercayaan atas beberapa penarikan episode, yang menutupi varians dalam hasil sedikit contoh.
Pertanyaan yang sering diajukan
Apa perbedaan antara pembelajaran sedikit contoh dan pembelajaran transfer?
Pembelajaran transfer menyetel halus model pra-terlatih pada tugas baru dan biasanya mendapat manfaat dari puluhan hingga ribuan contoh berlabel. Pembelajaran sedikit contoh dirancang khusus untuk beradaptasi hanya dengan satu hingga lima contoh per kelas, menggunakan meta-pelatihan episodik sehingga model belajar cara menggeneralisasi dengan cepat daripada cara menyesuaikan diri dengan domain tertentu.
Apa arti k-shot n-way?
Ini menggambarkan struktur episode: n-way berarti n kelas baru disajikan secara bersamaan, dan k-shot berarti k contoh berlabel disediakan per kelas. Tugas 5-way 1-shot meminta model untuk mengklasifikasikan gambar kueri ke dalam salah satu dari lima kategori dengan hanya satu contoh berlabel untuk masing-masing.
Apakah saya memerlukan GPU untuk menjalankan pembelajaran sedikit contoh?
Meta-pelatihan — terutama metode berbasis optimisasi seperti MAML — memerlukan komputasi yang cukup besar dan biasanya dilakukan pada GPU. Namun, inferensi berbasis metrik (membandingkan penyematan kueri dengan prototipe dukungan) murah dan dapat berjalan di CPU dalam produksi setelah tulang punggung pra-terlatih.
Berapa banyak tugas meta-pelatihan yang saya perlukan?
Ini tergantung pada keragaman daripada jumlah absolut. Beberapa ribu tugas yang diambil secara episodik dari kumpulan kelas yang bervariasi adalah tolok ukur umum. Yang terpenting adalah kelas meta-pelatihan cukup banyak dan beragam untuk menggeneralisasi ke kelas target yang belum terlihat.
Apakah pembelajaran sedikit contoh sama dengan pembelajaran tanpa contoh (zero-shot learning)?
Tidak. Pembelajaran tanpa contoh tidak memerlukan contoh berlabel dari kelas baru pada waktu pengujian, sepenuhnya bergantung pada deskriptor kelas semantik atau atribut. Pembelajaran sedikit contoh selalu menyediakan setidaknya satu contoh berlabel per kelas baru dalam set dukungan.
Metode terkait
Sumber
Vinyals, O., Blundell, C., Lillicrap, T., Wierstra, D., & Kavukcuoglu, K. (2016). Matching Networks for One Shot Learning. Advances in Neural Information Processing Systems (NeurIPS), 29.
Buka referensi publikasiDisalin.Finn, C., Abbeel, P., & Levine, S. (2017). Model-Agnostic Meta-Learning for Fast Adaptation of Deep Networks. Proceedings of the 34th International Conference on Machine Learning (ICML), PMLR 70:1126–1135.
Buka referensi publikasiDisalin.