Gradient Boosting Pembelajaran Aktif
- Diperkenalkan oleh
- Settles, B. (active learning); Friedman, J. H. (gradient boosting); combined framework developed by the research community
- Tahun
- 2000s–2010s
- Jenis
- Active learning framework with gradient boosting base learner
- Keluarga
- Machine learning
Teks ini adalah terjemahan mesin dan belum ditinjau. Baca versi asli dalam bahasa Inggris
Apa fungsinya?
Gradient Boosting Pembelajaran Aktif menggabungkan akurasi prediktif yang kuat dari pohon yang ditingkatkan gradien dengan putaran pembelajaran aktif yang memilih contoh tak berlabel yang paling informatif untuk anotasi manusia.
Dengan hanya menanyakan instans yang paling tidak pasti bagi model, metode ini mencapai akurasi tinggi dengan jauh lebih sedikit contoh berlabel dibandingkan pembelajaran terawasi pasif.
Intuisi di balik metode
Pelabelan data itu mahal. Pembelajaran aktif mengatasi hal ini dengan membiarkan model memutuskan contoh mana yang layak dianotasi selanjutnya — biasanya yang paling tidak pasti bagi model. Peningkatan gradien, yang dikenal karena akurasi yang kuat pada data tabular, berfungsi sebagai pembelajar inti dalam putaran ini. Setelah setiap putaran pelabelan, model yang ditingkatkan dilatih ulang pada kumpulan berlabel yang terus bertambah dan kembali mengidentifikasi titik tak berlabel yang paling tidak pasti. Hasilnya adalah model berkinerja tinggi yang dibangun dengan sebagian kecil dari data berlabel yang dibutuhkan oleh pelatihan pasif.
Sejarah
Pembelajaran aktif sebagai bidang disistematisasi oleh Burr Settles dalam survei berpengaruhnya tahun 2010. Peningkatan gradien diformalkan oleh Jerome Friedman pada tahun 2001. Kombinasi mereka mendapatkan daya tarik pada tahun 2010-an ketika pustaka pohon yang ditingkatkan gradien (XGBoost 2016, LightGBM 2017) menjadi alat standar, membuatnya praktis untuk melatih ulang model yang kuat dalam alur kerja anotasi iteratif. Kombinasi ini sekarang umum dalam anotasi NLP, triase pencitraan medis, dan kontrol kualitas industri.
Kapan digunakan
Gunakan gradient boosting pembelajaran aktif ketika Anda memiliki kumpulan besar data tabular tak berlabel tetapi pelabelan mahal atau memakan waktu, dan gradient boosting akan menjadi model pilihan. Ini sangat efektif untuk kumpulan data yang tidak seimbang di mana kelas yang jarang sulit diambil sampelnya secara pasif. Hindari jika pelabelan murah (pembelajaran pasif dengan semua label lebih sederhana), ketika kumpulan tak berlabel terlalu kecil untuk membuat kueri berharga, ketika Anda memerlukan model yang sepenuhnya transparan (koefisien atau aturan), atau ketika pelatihan ulang waktu nyata setelah setiap kueri tidak memungkinkan.
Batasan dan pertimbangan
- Melatih ulang gradient boosting dari awal setelah setiap putaran kueri secara komputasi mahal untuk kumpulan data besar.
- Strategi kueri dapat menderita bias pengambilan sampel, konvergen ke kumpulan berlabel yang tidak representatif jika kumpulan awal tidak representatif.
- Kalibrasi probabilitas gradient boosting mungkin memerlukan langkah tambahan (misalnya, penskalaan Platt) untuk memastikan perkiraan ketidakpastian yang andal.
- Kinerja sensitif terhadap pilihan strategi kueri; tidak ada strategi tunggal yang mendominasi di semua tugas.
- Memerlukan infrastruktur untuk alur kerja anotasi manusia-dalam-lingkaran, yang menambah beban rekayasa.
Syarat dari sumber tidak menggantikan tinjauan ilmiah independen atau validasi oleh mesin analisis.
Kelebihan
- Mencapai akurasi kompetitif dengan jumlah contoh berlabel yang jauh lebih sedikit dibandingkan pembelajaran terawasi pasif.
- Mewarisi kinerja kuat gradient boosting pada data tabular, menangani interaksi nonlinier dan tipe fitur campuran.
- Fleksibel: kompatibel dengan strategi kueri apa pun (ketidakpastian, margin, entropi, kueri-berdasarkan-komite).
- Mengurangi biaya anotasi secara sistematis, membuatnya praktis untuk domain yang membutuhkan banyak label ahli seperti kedokteran atau hukum.
- Mendukung penerapan iteratif: model terus meningkat seiring bertambahnya label yang dikumpulkan.
Penerapan
- Klasifikasi gambar medis atau teks di mana anotasi ahli langka dan mahal.
- Deteksi penipuan pada kumpulan data transaksi besar di mana label penipuan yang dikonfirmasi memerlukan tinjauan manual.
- Pelabelan sentimen atau niat dalam alur kerja NLP di mana anggaran anotasi yang dikumpulkan dari banyak orang terbatas.
- Deteksi cacat industri dengan kapasitas inspeksi terbatas.
- Pelabelan data ilmiah dalam biologi, kimia, atau ilmu material di mana pakar domain mahal.
- Pemodelan pelanggan churn atau risiko kredit dengan sampel hasil yang dikonfirmasi terbatas.
Cara kerjanya
Cara kerjanya
Pelatihan dimulai dengan sekumpulan kecil contoh berlabel. Sisa data yang tersedia tetap tidak berlabel dalam sebuah kumpulan. Kumpulan awal harus cukup besar agar model peningkatan gradien dapat menghasilkan perkiraan probabilitas yang bermakna; biasanya setidaknya diperlukan satu contoh per kelas.
Model peningkatan gradien (misalnya, XGBoost, LightGBM, atau GradientBoostingClassifier scikit-learn) dilatih pada kumpulan berlabel saat ini. Model mempelajari ansambel aditif dari pohon keputusan dengan secara iteratif mencocokkan residu, menghasilkan probabilitas kelas terkalibrasi yang digunakan dalam langkah kueri berikutnya.
Kriteria ketidakpastian atau informativitas memilih instans tak berlabel di mana model paling tidak yakin. Strategi umum meliputi pengambilan sampel kepercayaan terendah, pengambilan sampel margin, dan pengambilan sampel entropi. Kriteria entropi memilih x* yang memaksimalkan H(p(y|x)) di seluruh kumpulan tak berlabel U.
Rumus
x^* = \arg\max_{x \in U}\, H(p(y \mid x))Instans yang dipilih disajikan kepada anotator manusia (oracle), yang memberikan label kebenaran dasar. Dalam praktiknya, langkah inilah tempat biaya anotasi dibelanjakan, sehingga efisiensi strategi kueri secara langsung mengontrol anggaran pelabelan.
Contoh yang baru diberi label ditambahkan ke kumpulan pelatihan dan model peningkatan gradien dilatih ulang dari awal atau diperbarui. Siklus berulang hingga anggaran pelabelan habis atau ambang batas kinerja tercapai pada kumpulan validasi.
Kesalahan umum
- Memulai dengan kumpulan awal yang terlalu kecil atau tidak seimbang, menyebabkan model hanya menanyakan satu wilayah ruang fitur.
- Mengabaikan kalibrasi probabilitas: skor gradient boosting mentah tidak selalu merupakan probabilitas yang terkalibrasi dan perkiraan ketidakpastian yang diturunkan darinya bisa menyesatkan.
- Mengevaluasi kinerja model hanya pada kumpulan berlabel yang dipilih secara aktif, yang bias terhadap contoh yang tidak pasti atau sulit.
- Menggunakan seluruh kumpulan tak berlabel untuk evaluasi akhir setelah pemilihan aktif — selalu sisihkan kumpulan pengujian yang terpisah sebelum putaran pembelajaran aktif dimulai.
- Mengabaikan perbandingan terhadap dasar pasif yang dilatih pada jumlah label yang diambil sampelnya secara acak yang sama.
Pertanyaan yang sering diajukan
Strategi kueri mana yang paling cocok dengan gradient boosting?
Pengambilan sampel entropi dan pengambilan sampel margin adalah pilihan yang paling umum dan bekerja dengan baik dalam praktik. Kueri-berdasarkan-komite menggunakan ansambel model gradient boosting bisa lebih kuat tetapi meningkatkan biaya pelatihan. Strategi terbaik bergantung pada kumpulan data; ada baiknya membandingkan dua atau tiga strategi pada sampel percontohan.
Apakah saya perlu mengkalibrasi probabilitas gradient boosting?
Ya, terutama saat menggunakan strategi kueri berbasis entropi atau kepercayaan. Peningkatan gradien dapat menghasilkan probabilitas yang terlalu percaya diri. Terapkan penskalaan Platt atau regresi isotonik setelah setiap putaran pelatihan untuk mendapatkan perkiraan ketidakpastian yang lebih terkalibrasi sebelum melakukan kueri.
Berapa banyak contoh yang harus saya labeli per putaran?
Ukuran batch dari 1 hingga beberapa lusin adalah tipikal. Batch yang lebih besar lebih efisien secara komputasi tetapi mungkin kurang efisien dalam pengambilan sampel dibandingkan kueri satu titik. Mulailah dengan ukuran batch yang sebanding dengan sekitar 1–5% dari kumpulan berlabel awal Anda dan sesuaikan berdasarkan throughput anotasi.
Kapan saya harus menghentikan putaran pembelajaran aktif?
Berhenti ketika kinerja validasi mendatar di beberapa putaran berturut-turut, ketika anggaran pelabelan habis, atau ketika ketidakpastian model pada kumpulan tak berlabel yang tersisa turun di bawah ambang batas yang menunjukkan kumpulan sebagian besar tidak informatif.
Bisakah saya menggunakan XGBoost atau LightGBM alih-alih gradient boosting scikit-learn?
Ya — XGBoost dan LightGBM lebih cepat dan seringkali lebih akurat; mereka adalah implementasi pilihan dalam praktik. Pastikan Anda menggunakan predict_proba (atau yang setara) dengan kalibrasi daripada skor log-odds mentah untuk strategi kueri.
Metode terkait
Sumber
Settles, B. (2010). Active Learning Literature Survey. Computer Sciences Technical Report 1648, University of Wisconsin–Madison.
Buka referensi publikasiDisalin.Friedman, J. H. (2001). Greedy Function Approximation: A Gradient Boosting Machine. Annals of Statistics, 29(5), 1189–1232.
Buka referensi DOIDisalin.