Skip to content
Kembali ke hasil pencarian

Peningkat Pembelajaran Aktif

Diperkenalkan oleh
Abe, N. & Mamitsuka, H.
Tahun
1998
Jenis
Hybrid active-learning ensemble
Keluarga
Machine learning

Teks ini adalah terjemahan mesin dan belum ditinjau. Baca versi asli dalam bahasa Inggris

Ukuran huruf

Apa fungsinya?

Peningkat Pembelajaran Aktif menggabungkan perolehan label yang didorong oleh kueri dari pembelajaran aktif dengan logika ansambel berbobot dari algoritma peningkat seperti AdaBoost.

Model ini secara iteratif memilih contoh yang belum diberi label yang paling informatif untuk dianotasi—dipandu oleh ketidaksepakatan atau ketidakpastian dalam ansambel peningkat—dan melatih ulang setelah setiap label baru, mencapai akurasi tinggi dengan contoh berlabel jauh lebih sedikit daripada pembelajaran pasif.

Intuisi di balik metode

Pelabelan data itu mahal. Peningkat sudah membangun pengklasifikasi yang kuat dari pembelajar yang lemah dengan berfokus pada contoh yang paling sulit melalui pembobotan ulang adaptif. Pembelajaran aktif mengeksploitasi ide serupa pada tahap pengumpulan data: alih-alih memberi label semuanya, minta oracle untuk memberi label hanya contoh di mana ansambel peningkat saat ini paling tidak pasti atau paling terbagi. Kedua prinsip tersebut saling memperkuat—peningkat mengidentifikasi wilayah mana yang sulit, dan pembelajaran aktif memusatkan upaya pelabelan tepat di sana, sehingga model belajar secara efisien dari anggaran berlabel yang kecil.

Sejarah

Strategi pembelajaran kueri yang menggabungkan peningkat dan bagging diperkenalkan oleh Abe dan Mamitsuka di ICML 1998, menetapkan bahwa margin ansambel memberikan sinyal ketidakpastian yang berprinsip untuk kueri aktif. Survei Settles tahun 2009 mengkonsolidasikan bidang ini dan mengkatalogkan strategi berbasis peningkat bersama dengan pendekatan SVM dan proses Gaussian. Sejak itu, varian gradient boosting (XGBoost, LightGBM) telah digunakan sebagai tulang punggung ansambel dalam alur kerja pembelajaran aktif terapan di bidang kedokteran, NLP, dan penginderaan jauh.

Kapan digunakan

Gunakan Peningkat Pembelajaran Aktif ketika pelabelan mahal (anotasi klinis, tinjauan ahli, pengkodean hukum) tetapi tersedia banyak data yang belum diberi label, dan Anda menginginkan akurasi ansambel yang kuat daripada model sederhana. Sangat cocok untuk tugas klasifikasi tabular dengan ketidakseimbangan kelas sedang, karena pembobotan ulang peningkat secara alami berfokus pada instans yang sulit. Kurang tepat ketika pelabelan murah (pembelajaran pasif pada seluruh kumpulan mungkin lebih sederhana), ketika kumpulan yang belum diberi label kecil (tidak ada keuntungan kueri yang berarti), ketika tugas memerlukan keputusan waktu nyata atau streaming (peningkat standar berorientasi batch), atau ketika interpretasi penuh koefisien diperlukan.

Batasan dan pertimbangan

  • Memerlukan oracle (manusia atau otomatis) yang tersedia di setiap siklus kueri, membuat alur kerja otomatis penuh menjadi kompleks.
  • Kumpulan benih berlabel awal harus representatif; benih yang bias mengarah pada kueri awal yang bias dan konvergensi yang lambat.
  • Mengkueri instans yang paling tidak pasti dapat menimbulkan pergeseran distribusi—kumpulan berlabel tidak lagi mencerminkan distribusi data alami.
  • Biaya komputasi tumbuh dengan setiap siklus pelatihan ulang, terutama untuk ansambel peningkat yang dalam pada kumpulan besar.
  • Peningkatan kinerja dibandingkan pembelajaran pasif menyusut seiring bertambahnya anggaran pelabelan.

Syarat dari sumber tidak menggantikan tinjauan ilmiah independen atau validasi oleh mesin analisis.

Kelebihan

  • Secara dramatis mengurangi biaya pelabelan yang diperlukan untuk mencapai target akurasi tertentu dibandingkan dengan pengambilan sampel acak.
  • Mewarisi generalisasi kuat dan ketahanan peningkat terhadap ketidakseimbangan kelas melalui pembobotan sampel adaptif.
  • Strategi kueri secara langsung didasarkan pada ketidakpastian model itu sendiri, membuatnya berprinsip dan adaptif.
  • Bekerja dengan baik dengan data tabular yang berisi tipe fitur campuran tanpa memerlukan asumsi distribusi.
  • Kompatibel dengan varian peningkat apa pun (AdaBoost, gradient boosting, XGBoost) sebagai pembelajar dasar.

Penerapan

  • Anotasi rekam medis di mana pelabelan ahli langka dan mahal.
  • Klasifikasi dokumen dan teks dengan korpus berlabel terbatas.
  • Pemetaan tutupan lahan penginderaan jauh di mana pengumpulan kebenaran lapangan padat karya.
  • Pembangunan model deteksi penipuan ketika label penipuan yang dikonfirmasi memerlukan tinjauan manual.
  • Kontrol kualitas industri di mana pelabelan cacat memerlukan inspeksi spesialis.

Cara kerjanya

Cara kerjanya

1

Sekumpulan besar instans yang belum diberi label dan sekumpulan kecil contoh berlabel dikumpulkan. Kumpulan benih harus cukup representatif untuk melatih ansambel peningkat awal yang lemah; biasanya beberapa lusin contoh berlabel sudah cukup untuk memulai siklus.

2

Algoritma peningkat (misalnya, AdaBoost atau gradient boosting) dilatih pada kumpulan berlabel saat ini. Ini menghasilkan ansambel pembelajar lemah bersama dengan bobotnya dan, yang penting, margin prediksi per-instans atau skor keyakinan yang akan dieksploitasi oleh strategi kueri.

3

Kriteria informativitas yang diturunkan dari ansambel peningkat dihitung untuk setiap instans yang belum diberi label. Strategi umum termasuk mengkueri instans dengan margin ansambel terendah (yaitu, pengambilan sampel margin), ketidaksepakatan ansambel tertinggi, atau menggunakan bobot peningkat untuk mengidentifikasi wilayah yang sulit diklasifikasikan. Sekumpulan tetap dari instans berperingkat teratas dipilih untuk diberi label.

4

Instans yang dipilih disajikan kepada anotator manusia atau oracle untuk diberi label. Ini adalah satu-satunya langkah yang memerlukan upaya eksternal; biayanya sebanding dengan ukuran kumpulan kueri. Instans yang baru diberi label ditambahkan ke kumpulan pelatihan berlabel.

5

Model peningkat dilatih ulang dari awal—atau diperbarui secara inkremental—pada kumpulan berlabel yang diperluas. Siklus dari langkah 3 diulang sampai anggaran pelabelan habis atau ambang kinerja tercapai. Prediksi akhir dihasilkan oleh ansambel peningkat yang sepenuhnya terlatih.

Kesalahan umum

  • Menggunakan kumpulan benih yang terlalu kecil atau tidak representatif, menyebabkan siklus kueri pertama berfokus pada wilayah batas yang berisik.
  • Lupa mengevaluasi pada set pengujian yang ditahan yang tidak pernah digunakan dalam loop kueri, yang mengarah pada perkiraan akurasi yang optimis.
  • Mengabaikan pergeseran distribusi: melaporkan akurasi pengujian pada distribusi alami ketika kumpulan berlabel dipilih secara aktif.
  • Menerapkan peningkat pembelajaran aktif ketika biaya pelabelan dapat diabaikan—kompleksitas tambahan tidak diperlukan.
  • Menggabungkan kueri berbasis margin dengan pemilihan outlier; memeriksa bahwa instans yang dikueri benar-benar informatif, bukan hanya berisik.

Pertanyaan yang sering diajukan

Algoritma peningkat mana yang terbaik sebagai pembelajar dasar?

Varian peningkat apa pun yang memberikan skor keyakinan atau margin per-instans berfungsi. AdaBoost adalah yang paling banyak dipelajari dalam literatur pembelajaran aktif asli; gradient boosting (XGBoost, LightGBM) cenderung memberikan akurasi yang lebih kuat dalam praktik dan semakin umum dalam alur kerja modern.

Seberapa besar seharusnya kumpulan benih berlabel awal?

Panduan umum adalah 1–5% dari total kumpulan atau setidaknya beberapa contoh per kelas, mana yang lebih besar. Benih yang terlalu kecil menghasilkan model awal yang tidak stabil yang kueri awalnya mungkin menyesatkan.

Apakah peningkat pembelajaran aktif selalu mengungguli pengambilan sampel acak?

Tidak selalu. Ketika anggaran pelabelan besar relatif terhadap kumpulan, pengambilan sampel acak mendekati akurasi yang sama. Keuntungan terbesar muncul dalam rezim anggaran rendah di mana anotasi mahal dan kumpulan yang belum diberi label besar.

Bagaimana cara mengevaluasi model secara adil?

Sisihkan set pengujian sebelum loop pembelajaran aktif dimulai dan jangan pernah memasukkannya ke dalam keputusan kueri atau pelatihan. Evaluasi ansambel peningkat akhir pada set yang tidak tersentuh ini; akurasi pada set berlabel yang dipilih secara aktif bias secara optimis.

Bisakah saya menggunakan kueri batch alih-alih mengkueri satu contoh pada satu waktu?

Ya. Pembelajaran aktif mode batch memilih sekumpulan instans berketidakpastian tinggi yang beragam per siklus untuk mengurangi interaksi oracle. Sebagian besar implementasi praktis menggunakan batch 10–100, menyeimbangkan informativitas dan keragaman untuk menghindari pengkuerian instans yang sangat mirip.

Metode terkait

Sumber

  1. Abe, N. & Mamitsuka, H. (1998). Query Learning Strategies Using Boosting and Bagging. Proceedings of the 15th International Conference on Machine Learning (ICML 1998), pp. 1–9. Morgan Kaufmann.

    Buka referensi publikasi
    Disalin.
  2. Settles, B. (2009). Active Learning Literature Survey. Computer Sciences Technical Report 1648, University of Wisconsin–Madison.

    Buka referensi publikasi
    Disalin.