Pembelajaran Aktif dengan Pembelajaran Mandiri Terawasi
- Diperkenalkan oleh
- Multiple authors (active learning + SSL integration, 2020s)
- Tahun
- 2020-2022
- Jenis
- Hybrid learning paradigm
- Keluarga
- Machine learning
Teks ini adalah terjemahan mesin dan belum ditinjau. Baca versi asli dalam bahasa Inggris
Apa fungsinya?
Pembelajaran aktif yang dikombinasikan dengan pembelajaran mandiri terawasi memanfaatkan data tak berlabel melalui pra-pelatihan mandiri terawasi untuk membangun representasi yang kaya, kemudian menggunakan strategi kueri aktif untuk memilih contoh yang paling informatif untuk anotasi manusia, memaksimalkan kinerja model di bawah anggaran pelabelan yang ketat.
Pendekatan hibrida ini sangat kuat ketika data berlabel langka tetapi terdapat banyak kumpulan data tak berlabel.
Intuisi di balik metode
Pembelajaran mandiri terawasi dapat mengekstrak representasi yang berguna dari data mentah tak berlabel dengan menyelesaikan tugas-tugas pretext seperti memprediksi patch yang ditutupi atau membandingkan tampilan yang diperkaya. Setelah encoder yang kuat dilatih sebelumnya dengan cara ini, pembelajaran aktif mengambil alih: alih-alih melabeli semuanya, seorang oracle hanya diminta tentang contoh tak berlabel yang paling tidak pasti atau paling representatif. Ruang penyematan yang kaya dari encoder membuat kueri ketidakpastian dan keragaman jauh lebih akurat daripada yang seharusnya dari model yang diinisialisasi secara acak, sehingga setiap contoh berlabel memberikan lebih banyak peningkatan. Siklus kemudian berulang, menyempurnakan encoder dengan setiap batch label baru.
Sejarah
Pembelajaran aktif berakar pada tahun 1990-an (Cohn et al., 1996) dan pembelajaran mandiri terawasi muncul menonjol pada tahun 2010-an dengan metode kontrastif. Integrasi mereka dipercepat pada tahun 2020-2022 karena kumpulan data tak berlabel yang besar dan encoder SSL yang kuat (SimCLR, MoCo, MAE) menjadi tersedia secara luas. Para peneliti menemukan bahwa pra-pelatihan SSL secara substansial meningkatkan kualitas penyematan yang diandalkan oleh strategi kueri aktif, yang mengarah ke keluarga kerangka kerja AL-SSL gabungan yang dipelajari dalam visi komputer dan NLP. Kombinasi ini sekarang menjadi batas penelitian aktif, terutama dalam pengaturan sumber daya rendah dan terbatas anotasi.
Kapan digunakan
Gunakan kombinasi ini ketika Anda memiliki kumpulan data tak berlabel yang besar dan anggaran yang ketat untuk anotasi manual, dan ketika fitur mentah cukup kompleks (gambar, teks, audio, sinyal berdimensi tinggi) sehingga pra-pelatihan mandiri terawasi memberikan nilai representasi yang signifikan. Ini unggul dalam pencitraan medis, klasifikasi dokumen, dan penginderaan jauh di mana pelabelan ahli mahal. JANGAN gunakan ketika kumpulan data berlabel Anda sudah besar dan representatif, ketika domain data adalah data tabular sederhana di mana pra-pelatihan SSL memberikan sedikit manfaat, atau ketika anggaran komputasi sangat terbatas — pra-pelatihan SSL encoder besar secara komputasi intensif. Hindari juga ketika kumpulan data tak berlabel kecil dibandingkan dengan data berlabel.
Batasan dan pertimbangan
- Pra-pelatihan mandiri terawasi bisa mahal secara komputasi, terutama untuk arsitektur encoder besar seperti Vision Transformers.
- Pembelajaran aktif memperkenalkan akuisisi data sekuensial, membuat paralelisme lebih sulit dan memperpanjang alur kerja anotasi secara keseluruhan.
- Jika domain pra-pelatihan mandiri terawasi dan domain tugas target sangat berbeda, representasi encoder mungkin menyesatkan untuk pemilihan kueri.
- Membutuhkan desain yang cermat: fungsi akuisisi harus kompatibel dengan arsitektur encoder dan ruang penyematan.
Syarat dari sumber tidak menggantikan tinjauan ilmiah independen atau validasi oleh mesin analisis.
Kelebihan
- Secara dramatis mengurangi jumlah label yang diperlukan untuk mencapai akurasi target dibandingkan dengan pendekatan yang hanya menggunakan supervised atau hanya pembelajaran aktif.
- Representasi mandiri terawasi meningkatkan kualitas kueri aktif dengan menyediakan jarak penyematan yang bermakna dan perkiraan ketidakpastian sejak awal.
- Berpindah dengan baik antar domain: encoder mandiri terawasi yang dilatih sebelumnya pada data tak berlabel dari satu domain dapat menjadi dasar pembelajaran aktif di domain target yang terkait.
- Menangani data tidak terstruktur berdimensi tinggi (gambar, teks, audio) di mana fungsi akuisisi pembelajaran aktif tradisional berkinerja buruk pada fitur mentah.
- Kedua paradigma saling memperkuat: representasi yang lebih baik meningkatkan pemilihan kueri; data berlabel yang lebih baik meningkatkan representasi.
Penerapan
- Anotasi gambar medis di mana waktu radiolog langka dan terdapat arsip pemindaian tak berlabel yang besar.
- Klasifikasi dokumen dan teks dengan korpus berlabel terbatas tetapi teks mentah yang melimpah.
- Klasifikasi penginderaan jauh dan citra satelit di bawah batasan anggaran anotasi.
- Deteksi cacat industri di mana contoh cacat berlabel jarang tetapi gambar produksi normal berlimpah.
- Klasifikasi ucapan dan audio dengan arsip audio tak berlabel yang besar dan transkripsi yang mahal.
- Penemuan obat: memilih struktur molekul yang paling informatif untuk pengujian laboratorium.
Cara kerjanya
Cara kerjanya
Encoder mandiri terawasi dilatih sebelumnya pada seluruh kumpulan data tak berlabel menggunakan tugas pretext — seperti pembelajaran kontrastif (SimCLR, MoCo), autoencoder yang ditutupi (MAE), atau prediksi rotasi. Tidak ada label manusia yang diperlukan pada tahap ini; tujuannya adalah ruang fitur di mana contoh-contoh yang secara semantik serupa berkelompok bersama.
Fungsi akuisisi pembelajaran aktif — seperti kepercayaan paling rendah, pengambilan sampel entropi, BADGE, atau pemilihan inti — mengevaluasi setiap contoh tak berlabel menggunakan prediksi atau penyematan encoder saat ini. Contoh-contoh yang diperkirakan paling informatif (tidak pasti atau paling representatif dari wilayah yang belum dijelajahi) diberi peringkat dan batch berukuran anggaran dipilih untuk anotasi.
Batch yang dipilih disajikan kepada anotator manusia (oracle) yang memberikan label kebenaran dasar. Ini adalah satu-satunya langkah yang menimbulkan biaya pelabelan, sehingga kualitas strategi kueri secara langsung menentukan efisiensi pelabelan.
Encoder disempurnakan (atau kepala klasifikasi baru dilatih) pada semua contoh berlabel yang terkumpul sejauh ini. Teknik regularisasi seperti evaluasi linier diikuti dengan penyempurnaan penuh membantu mencegah overfitting pada set berlabel kecil sambil mempertahankan representasi yang dilatih sebelumnya.
Siklus kueri-label-penyempurnaan berulang sampai anggaran pelabelan habis atau target kinerja tercapai. Encoder secara opsional diperbarui dengan data tak berlabel baru di antara putaran jika kumpulan data dinamis.
Kesalahan umum
- Menggunakan fungsi akuisisi generik (misalnya, pengambilan sampel acak) setelah pra-pelatihan SSL dan menyebutnya pembelajaran aktif — strategi kueri yang memberikan keuntungan tambahan.
- Mengevaluasi hanya model akhir setelah semua putaran anotasi, yang menyembunyikan apakah kueri awal benar-benar informatif.
- Mengabaikan pergeseran distribusi antara kumpulan data tak berlabel dan oracle anotasi, yang dapat menimbulkan bias seleksi.
- Lupa melacak biaya pelabelan sebagai sumbu perbandingan utama — keuntungan harus diukur sebagai akurasi vs. anggaran anotasi, bukan hanya akurasi akhir.
- Menerapkan jadwal laju pembelajaran yang sama selama penyempurnaan seperti selama pra-pelatihan, yang dapat merusak representasi yang dilatih sebelumnya.
Pertanyaan yang sering diajukan
Apakah saya perlu menjalankan kembali pra-pelatihan mandiri terawasi setelah setiap putaran pembelajaran aktif?
Belum tentu. Praktik yang paling umum adalah pra-pelatihan sekali pada seluruh kumpulan data tak berlabel, kemudian menyempurnakan encoder secara bertahap dengan setiap batch berlabel baru. Menjalankan kembali pra-pelatihan SSL penuh setiap putaran secara komputasi tidak mungkin dilakukan; beberapa karya menggunakan pembaruan SSL yang ringan (misalnya, pembelajaran kontrastif online) untuk mengadaptasi representasi selama siklus AL.
Fungsi akuisisi pembelajaran aktif mana yang paling cocok dengan SSL?
Strategi berbasis penyematan seperti pemilihan inti, BADGE (Batch Active learning by Diverse Gradient Embeddings), dan pengambilan sampel keragaman berbasis pengelompokan cenderung bekerja paling baik karena mereka memanfaatkan geometri ruang penyematan SSL yang bermakna. Pengambilan sampel entropi biasa pada keluaran softmax juga mendapat manfaat dari SSL tetapi keuntungannya lebih sedikit dibandingkan dengan acak.
Bagaimana ini berbeda dari pembelajaran semi-terawasi?
Pembelajaran semi-terawasi menggunakan semua data tak berlabel secara pasif selama pelatihan. Pembelajaran aktif dengan SSL bersifat interaktif: ia secara strategis memilih contoh tak berlabel mana yang akan disajikan kepada oracle untuk anotasi, dan memperbarui model hanya dengan label yang dipilih tersebut. Perbedaan utamanya adalah loop anotasi sekuensial yang sadar anggaran.
Apakah data tabular cocok untuk pendekatan ini?
Umumnya tidak. Pra-pelatihan mandiri terawasi pada data tabular memberikan manfaat sedang dibandingkan dengan gambar atau teks, karena tidak ada augmentasi alami atau strategi masking patch. Untuk data tabular, pembelajaran aktif biasa dengan model terawasi konvensional (misalnya, regresi logistik atau random forest) biasanya lebih efisien dan dapat diinterpretasikan.
Metrik apa yang harus saya laporkan?
Laporkan akurasi (atau F1, AUC) sebagai fungsi dari anggaran pelabelan (jumlah kueri oracle), bukan hanya akurasi akhir. Sertakan baseline pengambilan sampel acak dan, jika memungkinkan, batas atas yang sepenuhnya terawasi. Kurva efisiensi anotasi ini adalah kontribusi utama dari setiap evaluasi pembelajaran aktif.
Metode terkait
Sumber
Bengar, J. Z., van de Weijer, J., Fuentes, L. L., & Raducanu, B. (2022). Class-Balanced Active Learning for Image Classification. Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision (WACV), 3082–3091.
Buka referensi publikasiDisalin.Wang, K., Zhang, D., Li, Y., Zhang, R., & Lin, L. (2016). Cost-Effective Active Learning for Deep Image Classification. IEEE Transactions on Circuits and Systems for Video Technology, 27(12), 2591–2600.
Buka referensi DOIDisalin.