Klasifikasi Tanpa Contoh (Zero-Shot Classification) — Klasifikasi Teks Tanpa Data Pelatihan
- Diperkenalkan oleh
- Yin, Hay & Roth
- Tahun
- 2019
- Jenis
- NLP text-classification task
Teks ini adalah terjemahan mesin dan belum ditinjau. Baca versi asli dalam bahasa Inggris
Apa fungsinya?
Klasifikasi tanpa contoh adalah tugas pemrosesan bahasa alami yang menugaskan teks ke dalam kategori-kategori yang dideskripsikan dalam bahasa biasa tanpa memerlukan data pelatihan berlabel.
Diformalisasikan sebagai masalah penyimpulan (entailment problem) oleh Yin, Hay, dan Roth (2019), tugas ini memungkinkan model bahasa besar yang telah dilatih sebelumnya untuk mengenali kategori-kategori baru secara langsung hanya dengan menyebutkan namanya, sehingga memungkinkan adaptasi cepat terhadap kumpulan label yang baru.
Intuisi di balik metode
Biasanya, sebuah pengklasifikasi harus melihat banyak contoh berlabel dari setiap kategori sebelum dapat mengenalinya. Klasifikasi tanpa contoh melewati langkah tersebut: Anda menyediakan nama kategori sebagai kata-kata biasa — misalnya politik, olahraga, sains — dan model bahasa besar yang telah dilatih sebelumnya yang sudah memahami bahasa akan menilai seberapa baik setiap label kandidat cocok dengan teks. Karena model membawa pengetahuan bahasanya sendiri yang luas, Anda dapat menambah atau mengubah kategori secara instan tanpa mengumpulkan dan memberi label pada data pelatihan baru.
Sejarah
Klasifikasi teks tanpa contoh secara sistematis diukur kinerjanya dan dibingkai sebagai masalah penyimpulan tekstual oleh Yin, Hay, dan Roth (2019), yang menunjukkan bahwa model yang dilatih pada inferensi bahasa alami dapat mengklasifikasikan teks ke dalam kategori yang belum pernah dilihat dengan memperlakukan setiap label sebagai hipotesis. Kemampuan yang lebih luas dari model bahasa besar untuk melakukan tugas yang tidak pernah dilatih secara eksplisit dipopulerkan oleh Brown et al. (2020) dalam karya pembelajaran sedikit contoh (few-shot learning) pada GPT-3.
Kapan digunakan
Klasifikasi tanpa contoh cocok ketika Anda memiliki teks untuk dikategorikan tetapi tidak memiliki data pelatihan berlabel, dan ketika kategori dapat berubah atau bertambah seiring waktu. Ini memerlukan model bahasa besar yang telah dilatih sebelumnya (seperti model penyimpulan berbasis BART atau RoBERTa) dan label kandidat yang didefinisikan dengan jelas dan saling lepas. Sangat cocok untuk pembuatan prototipe cepat dan untuk pengaturan di mana pengumpulan contoh berlabel untuk setiap kelas tidak praktis.
Batasan dan pertimbangan
- Bergantung pada model bahasa besar yang telah dilatih sebelumnya (BART, RoBERTa), yang membawa biaya komputasi.
- Akurasi bergantung pada seberapa jelas dan saling lepasnya label kandidat dirumuskan.
- Tanpa pelatihan khusus tugas, kinerjanya dapat dikalahkan oleh pengklasifikasi terawasi ketika data berlabel yang cukup tersedia.
Syarat dari sumber tidak menggantikan tinjauan ilmiah independen atau validasi oleh mesin analisis.
Kelebihan
- Tidak memerlukan data pelatihan berlabel — kategori dideskripsikan dalam bahasa biasa.
- Beradaptasi dengan cepat terhadap kategori baru: menambahkan kelas hanya berarti menambahkan namanya ke daftar label kandidat.
- Memanfaatkan pengetahuan linguistik luas yang sudah tertangkap dalam model yang telah dilatih sebelumnya.
Penerapan
- Mengategorikan dokumen ke dalam kumpulan label yang sering berubah tanpa melatih ulang.
- Pembuatan prototipe cepat tugas klasifikasi sebelum data berlabel dikumpulkan.
- Mengarahkan atau menandai teks masuk (topik, maksud) hanya menggunakan nama kategori.
- Menjelajahi kategori yang muncul dalam korpus teks penelitian dan operasional.
Cara kerjanya
Cara kerjanya
Anda mendeskripsikan kategori target sebagai label kandidat bahasa alami — frasa pendek yang dapat dibaca langsung oleh model. Label-label ini harus dirumuskan dengan jelas dan saling lepas (disjoint), karena model membandingkan teks dengan setiap label sebagaimana adanya, label yang samar atau tumpang tindih akan mengaburkan keputusan.
Teks dan label kandidat dimasukkan ke dalam model bahasa besar yang telah dilatih sebelumnya seperti BART atau RoBERTa. Tidak ada penyesuaian pada data Anda sendiri yang dilakukan — model menggunakan pengetahuan linguistik yang diperoleh selama pra-pelatihan untuk merepresentasikan dokumen dan setiap label kandidat.
Model menilai seberapa kuat setiap label kandidat didukung oleh teks, membingkai tugas tersebut sebagai inferensi bahasa alami: apakah teks menyiratkan hipotesis bahwa teks tersebut termasuk dalam label ini? Setiap label menerima skor kompatibilitas dari model yang telah dilatih sebelumnya.
Label dengan skor tertinggi ditugaskan ke teks (atau sekumpulan label berperingkat untuk pengaturan multi-label). Karena penilaian sepenuhnya bergantung pada model yang telah dilatih sebelumnya, menambahkan kategori baru semudah menambahkan namanya ke daftar kandidat.
Kesalahan umum
- Label kandidat yang samar atau tumpang tindih mengaburkan keputusan model; definisikan setiap label dengan jelas dan jaga agar tetap saling lepas.
- Mengharapkan akurasi tanpa contoh menyamai pengklasifikasi terawasi penuh ketika banyak data berlabel tersedia — dalam kasus tersebut, latihlah model terawasi sebagai gantinya.
- Menggunakan model kecil atau generik alih-alih model berkemampuan penyimpulan yang besar menurunkan hasil.
- Merumuskan label dalam bahasa yang tidak ditangani dengan baik oleh model yang telah dilatih sebelumnya menurunkan keandalan.
Pertanyaan yang sering diajukan
Apakah klasifikasi tanpa contoh memerlukan data pelatihan?
Tidak. Itulah fitur penentunya: Anda mendeskripsikan kategori sebagai label kandidat bahasa alami dan model yang telah dilatih sebelumnya menilai kecocokannya, sehingga tidak diperlukan contoh berlabel.
Model mana yang diandalkannya?
Ini bergantung pada model bahasa besar yang telah dilatih sebelumnya, biasanya model yang dilatih untuk penyimpulan seperti BART atau RoBERTa. Kualitas hasil sangat bergantung pada penggunaan model terlatih yang mampu daripada model generik yang kecil.
Bagaimana saya harus menulis label kandidat?
Definisikan dengan jelas dan jaga agar tetap saling lepas. Model membandingkan teks dengan setiap label sebagaimana adanya, sehingga label yang samar atau tumpang tindih mengaburkan keputusan dan menurunkan akurasi.
Apakah seakurat pengklasifikasi terawasi?
Belum tentu. Ketika Anda memiliki data berlabel yang cukup, pengklasifikasi terawasi yang dilatih pada data tersebut dapat mengungguli tanpa contoh. Tanpa contoh unggul ketika data berlabel langka atau kumpulan kategori terus berubah.
Metode terkait
Sumber
Yin, W., Hay, J. & Roth, D. (2019). Benchmarking Zero-shot Text Classification: Datasets, Evaluation and Entailment Approach. EMNLP, 3914-3923.
Buka referensi DOIDisalin.Brown, T. et al. (2020). Language Models are Few-Shot Learners. NeurIPS.
Buka referensi publikasiDisalin.