Klasifikasi Teks Sedikit Contoh (Few-Shot Text Classification)
- Jenis
- NLP text-classification task (low-resource)
Teks ini adalah terjemahan mesin dan belum ditinjau. Baca versi asli dalam bahasa Inggris
Apa fungsinya?
Klasifikasi teks sedikit contoh menetapkan dokumen ke dalam kelas menggunakan hanya segelintir contoh berlabel per kelas.
Membangun kemajuan oleh Gao et al. (2021) dan pendekatan SetFit bebas prompt dari Tunstall et al. (2022), metode ini bersandar pada jaringan prototipe, MAML, atau penyetelan halus (fine-tuning) model pra-terlatih besar untuk belajar dari label yang langka.
Intuisi di balik metode
Kebanyakan pengklasifikasi memerlukan kumpulan data pelatihan berlabel yang besar, tetapi pelabelan teks itu mahal dan terkadang hanya ada sedikit contoh per kelas. Klasifikasi teks sedikit contoh mengatasi hal ini dengan memulai dari model yang sudah memahami bahasa — model pra-terlatih besar — dan mengarahkannya ke kelas Anda hanya dengan beberapa contoh masing-masing. Alih-alih mempelajari setiap kelas dari awal, metode ini membandingkan dokumen baru dengan sejumlah kecil prototipe berlabel atau sedikit mengadaptasi model pra-terlatih sehingga bahkan satu contoh per kelas dapat memandu keputusan.
Sejarah
Klasifikasi teks sedikit contoh muncul dari penelitian sedikit contoh dan meta-pembelajaran yang diadaptasi untuk bahasa. Gao et al. (2021) menunjukkan cara membuat model bahasa pra-terlatih menjadi pembelajar sedikit contoh yang lebih baik, dan Tunstall et al. (2022) memperkenalkan SetFit untuk pembelajaran sedikit contoh yang efisien tanpa prompt, membuat pendekatan ini praktis dengan kumpulan data berlabel kecil dan tulang punggung pra-terlatih yang kuat.
Kapan digunakan
Gunakan klasifikasi teks sedikit contoh ketika Anda memiliki teks untuk diklasifikasikan tetapi hanya sedikit contoh berlabel per kelas — jauh lebih sedikit daripada yang dibutuhkan pengklasifikasi terawasi konvensional. Metode ini mengasumsikan setidaknya ada satu contoh untuk setiap kelas dan bekerja paling baik ketika model pra-terlatih besar tersedia untuk menyediakan pengetahuan yang hilang. Dengan data berlabel yang melimpah, pengklasifikasi teks terawasi biasa adalah pilihan yang lebih sederhana.
Batasan dan pertimbangan
- Membutuhkan setidaknya satu contoh berlabel untuk setiap kelas; kelas yang sama sekali tidak terlihat tidak dapat diprediksi.
- Kualitas sangat bergantung pada tulang punggung pra-terlatih — model yang lemah atau tidak cocok membatasi kinerja.
- Dengan sangat sedikit contoh, prediksi bisa tidak stabil dan sensitif terhadap contoh mana yang dipilih.
Syarat dari sumber tidak menggantikan tinjauan ilmiah independen atau validasi oleh mesin analisis.
Kelebihan
- Belajar dari sangat sedikit contoh berlabel — sekecil satu per kelas — di mana pengklasifikasi terawasi konvensional gagal.
- Menggunakan kembali pengetahuan bahasa luas di dalam model pra-terlatih besar, sehingga sedikit data spesifik tugas yang dibutuhkan.
- Fleksibel di berbagai strategi: jaringan prototipe, MAML, atau penyetelan halus ringan semuanya sesuai dengan alur kerja yang sama.
Penerapan
- Mengklasifikasikan teks ketika pelabelan itu mahal dan hanya sedikit contoh per kategori yang tersedia.
- Memulai pengklasifikasi untuk domain atau kumpulan label baru sebelum pelabelan skala besar dilakukan.
- Prototipe cepat kategorisasi teks dalam pengaturan penelitian dan operasional dengan label langka.
- Memperluas skema yang ada dengan kelas-kelas baru yang berlabel jarang.
Cara kerjanya
Cara kerjanya
Anda menyusun kumpulan data berlabel kecil dengan setidaknya satu contoh per kelas — terkadang hanya beberapa per kelas. Ini adalah kumpulan pendukung (support set) yang dipelajari oleh metode; semakin kecil kumpulan tersebut, semakin metode ini bergantung pada pengetahuan yang sudah ada di dalam model pra-terlatih.
Model pra-terlatih besar dipilih sebagai tulang punggung (backbone), karena model tersebut sudah mengkodekan pengetahuan bahasa yang luas. Model pra-terlatih yang kuat lebih disukai — semakin banyak ia mengetahui bahasa di awal, semakin sedikit setiap kelas perlu diajarkan dari beberapa contoh Anda.
Tulang punggung diarahkan ke kelas Anda dengan salah satu strategi sedikit contoh: jaringan prototipe membangun prototipe kelas dari beberapa contoh dan mengklasifikasikan berdasarkan prototipe terdekat, MAML melakukan meta-pembelajaran parameter awal yang beradaptasi dengan cepat, dan penyetelan halus sedikit memperbarui model pra-terlatih pada kumpulan data kecil.
Setiap dokumen baru dikodekan oleh model yang diadaptasi dan diberi label kelas — berdasarkan prototipe terdekat atau kepala pengklasifikasi yang telah disetel halus — menghasilkan satu label prediksi per dokumen meskipun data pelatihan langka.
Kesalahan umum
- Memperlakukan kelas dengan nol contoh berlabel sebagai dapat dipelajari — setiap kelas harus memiliki setidaknya satu contoh.
- Memasangkan metode ini dengan model pra-terlatih yang kecil atau tidak cocok, yang menghilangkan pengetahuan sebelumnya yang menjadi sandaran pengaturan sedikit contoh.
- Membaca akurasi secara berlebihan dari kumpulan pendukung yang sangat kecil; dengan begitu sedikit contoh, perkiraan evaluasi bersifat bising (noisy).
Pertanyaan yang sering diajukan
Berapa sedikit contoh per kelas yang sebenarnya dibutuhkan?
Setidaknya satu contoh berlabel per kelas diperlukan, dan metode ini dirancang untuk bekerja hanya dengan beberapa per kelas. Semakin sedikit yang Anda berikan, semakin metode ini bersandar pada pengetahuan sebelumnya dari tulang punggung pra-terlatih.
Strategi sedikit contoh mana yang harus saya gunakan?
Jaringan prototipe membangun prototipe per kelas dari beberapa contoh dan mengklasifikasikan berdasarkan prototipe terdekat; MAML melakukan meta-pembelajaran parameter yang beradaptasi dengan cepat ke tugas baru; penyetelan halus sedikit memperbarui model pra-terlatih pada kumpulan data kecil. Ketiganya sesuai dengan alur kerja yang sama; gaya penyetelan halus bebas prompt dari SetFit adalah default yang praktis.
Mengapa model pra-terlatih begitu penting?
Dengan hanya sedikit contoh berlabel, sebagian besar pengetahuan harus berasal dari tempat lain. Model pra-terlatih besar menyediakan pemahaman bahasa yang luas, sehingga tulang punggung yang lebih kuat umumnya memberikan hasil sedikit contoh yang lebih baik.
Kapan saya harus lebih memilih pengklasifikasi terawasi biasa?
Ketika Anda memiliki data berlabel yang melimpah. Metode sedikit contoh ada untuk rezim label rendah; dengan kumpulan data berlabel besar yang seimbang, pengklasifikasi teks terawasi standar lebih sederhana dan biasanya lebih kuat.
Metode terkait
Sumber
Gao, T., Fisch, A. & Chen, D. (2021). Making Pre-trained Language Models Better Few-shot Learners. ACL.
Buka referensi DOIDisalin.Tunstall, L., Reimers, N., Jo, U.E.S., Bates, L., Korat, D., Wasserblat, M. & Pereg, O. (2022). Efficient Few-Shot Learning Without Prompts. arXiv.
Buka referensi DOIDisalin.