Pembelajaran Aktif LightGBM
- Diperkenalkan oleh
- Settles, B. (active learning); Ke, G. et al. (LightGBM)
- Tahun
- 2017–present
- Jenis
- Hybrid (active learning query strategy + gradient boosting classifier)
- Keluarga
- Machine learning
Teks ini adalah terjemahan mesin dan belum ditinjau. Baca versi asli dalam bahasa Inggris
Apa fungsinya?
Pembelajaran Aktif LightGBM menggabungkan strategi pemilihan kueri yang efisien dari pembelajaran aktif dengan kecepatan dan akurasi LightGBM, sebuah kerangka kerja penguatan gradien berbasis histogram.
Model ini secara iteratif memilih instans tak berlabel yang paling informatif untuk anotasi manusia, melatih ulang LightGBM pada kumpulan data berlabel yang terus bertambah, dan konvergen ke akurasi tinggi dengan jumlah contoh berlabel yang jauh lebih sedikit daripada pembelajaran terawasi pasif.
Intuisi di balik metode
Pelabelan data itu mahal. Pembelajaran Aktif LightGBM mengatasi hal ini dengan menggunakan model LightGBM saat ini untuk mengidentifikasi sampel tak berlabel mana yang paling tidak pasti — yang dekat dengan batas keputusan atau dengan entropi prediksi tertinggi — dan hanya meminta anotator manusia untuk label tersebut. Karena LightGBM cepat dilatih dan menghasilkan estimasi probabilitas yang terkalibrasi dengan baik melalui penguatan gradien, sinyal ketidakpastian ini dapat diandalkan. Selama beberapa putaran kueri, model belajar di mana ia paling membutuhkan informasi, membangun akurasi dengan upaya anotasi minimal.
Sejarah
Pembelajaran aktif sebagai bidang disistematisasi oleh Settles (2012), mengambil dari karya sebelumnya tentang pengambilan sampel selektif dan pembelajaran kueri dari tahun 1990-an. LightGBM diperkenalkan oleh Ke et al. di NeurIPS 2017 sebagai implementasi penguatan gradien yang sangat efisien menggunakan pemisahan berbasis histogram dan pertumbuhan daun-daun. Kombinasi mereka menjadi populer dalam pembelajaran mesin terapan sejak sekitar tahun 2018 dan seterusnya, terutama dalam anotasi teks biomedis, penginderaan jauh, dan kontrol kualitas industri, di mana biaya pelabelan tinggi dan data tabular atau kaya fitur melimpah.
Kapan digunakan
Gunakan Pembelajaran Aktif LightGBM ketika biaya anotasi adalah kendala utama: terdapat kumpulan data tabular tak berlabel yang besar tetapi pelabelan setiap instans mahal dalam waktu atau uang, dan akurasi setingkat LightGBM diperlukan. Ini unggul ketika distribusi kelas tidak seimbang atau data tak berlabel melimpah tetapi data berlabel langka. Jangan gunakan ketika seluruh kumpulan data dapat diberi label dengan murah, ketika data hanya tiba sebagai kumpulan berlabel penuh (pembelajaran pasif sudah cukup), ketika peramal (anotator) tidak dapat diandalkan atau tidak tersedia secara interaktif, atau ketika interpretasi setiap keputusan sangat diperlukan tanpa alat pasca-pemrosesan.
Batasan dan pertimbangan
- Strategi kueri dan kriteria penghentian memerlukan pemilihan yang cermat; pilihan yang salah akan membuang anggaran pelabelan.
- Setiap putaran memperkenalkan latensi jika melatih ulang dari awal; kumpulan data besar dengan banyak putaran bisa lambat.
- Kinerja bergantung pada peramal yang andal; label manusia yang berisik atau tidak konsisten menurunkan model dengan cepat.
- Tidak cocok untuk pengaturan streaming atau online murni tanpa adaptasi ke pelatihan LightGBM inkremental.
Syarat dari sumber tidak menggantikan tinjauan ilmiah independen atau validasi oleh mesin analisis.
Kelebihan
- Secara dramatis mengurangi upaya anotasi dengan memfokuskan pelabelan pada instans yang paling informatif.
- Kecepatan LightGBM memungkinkan pelatihan ulang yang cepat di antara putaran kueri, membuat alur kerja interaktif menjadi praktis.
- Menangani data tabular berdimensi tinggi dengan baik, termasuk fitur kategorikal melalui dukungan LightGBM asli.
- Kompatibel dengan berbagai strategi kueri (pengambilan sampel ketidakpastian, margin, entropi, kueri-berdasarkan-komite).
- Secara alami menangani ketidakseimbangan kelas melalui parameter bobot-kelas dan bobot-pos-skala LightGBM.
Penerapan
- Anotasi catatan medis dan NLP klinis, di mana pelabelan ahli mahal.
- Penginderaan jauh dan klasifikasi citra satelit dengan cakupan kebenaran dasar parsial.
- Deteksi cacat industri pada data sensor tabular dengan inspeksi manual yang mahal.
- Deteksi penipuan dan penilaian risiko dengan label penipuan yang terkonfirmasi terbatas.
- Penyaringan literatur ilmiah dalam tinjauan sistematis untuk memprioritaskan dokumen untuk pembacaan teks lengkap.
Cara kerjanya
Cara kerjanya
Kumpulan awal kecil dari contoh berlabel ditarik secara acak dari data yang tersedia. Ini membentuk kumpulan pelatihan awal. Instans tak berlabel yang tersisa membentuk kumpulan kueri dari mana model akan meminta anotasi di putaran berikutnya.
LightGBM dilatih pada kumpulan berlabel saat ini menggunakan pertumbuhan pohon berbasis histogram yang berdaun-daun, yang memberikan pelatihan cepat dan kinerja prediktif yang kuat bahkan pada kumpulan berlabel kecil. Estimasi probabilitas untuk setiap kelas dihasilkan untuk semua instans dalam kumpulan tak berlabel.
Fungsi perolehan menilai setiap instans tak berlabel berdasarkan informasinya — umumnya entropi prediksi H(y|x), pengambilan sampel margin, atau ketidaksepakatan kueri-berdasarkan-komite. Instans dengan skor tertinggi dipilih untuk anotasi pada putaran ini.
Rumus
x^* = \arg\max_{x \in U}\, H(y \mid x, \mathcal{L})Instans yang dipilih disajikan kepada peramal manusia — pakar domain, platform sumber terbuka, atau pelabel otomatis — yang memberikan label kelas yang sebenarnya. Ini adalah satu-satunya langkah yang memerlukan masukan eksternal; biaya dan keandalannya secara langsung membatasi berapa banyak putaran kueri yang layak.
Instans yang baru diberi label ditambahkan ke kumpulan pelatihan dan LightGBM dilatih ulang dari awal (atau diperbarui secara inkremental jika didukung). Siklus berulang hingga anggaran pelabelan, ambang akurasi, atau jumlah maksimum putaran kueri tercapai.
Kesalahan umum
- Mengevaluasi kinerja hanya pada kumpulan berlabel yang dipilih secara aktif, yang bias terhadap contoh sulit — selalu sisihkan kumpulan pengujian acak sebelum loop AL dimulai.
- Mengabaikan sensitivitas awal: jika kumpulan benih terlalu kecil atau tidak representatif, kueri awal bisa menyesatkan.
- Menggunakan probabilitas yang tidak terkalibrasi sebagai skor ketidakpastian tanpa memeriksa kalibrasi LightGBM (penskalaan Platt atau regresi isotonik membantu).
- Memperlakukan kumpulan berlabel sebagai i.i.d. ketika melaporkan metrik generalisasi — kumpulan yang diambil secara aktif bukanlah sampel acak dari populasi.
Pertanyaan yang sering diajukan
Strategi kueri mana yang paling cocok dengan LightGBM?
Pengambilan sampel ketidakpastian melalui entropi prediksi adalah titik awal yang paling umum karena LightGBM menghasilkan probabilitas kelas secara langsung. Pengambilan sampel margin (perbedaan antara probabilitas dua kelas teratas) seringkali lebih kuat ketika jumlah kelas sangat tidak setara. Kueri-berdasarkan-komite memerlukan pelatihan beberapa model tetapi dapat mengurangi bias dari estimasi ketidakpastian satu model.
Berapa banyak contoh berlabel yang dibutuhkan untuk memulai?
Kumpulan benih minimal satu contoh per kelas diperlukan; dalam praktiknya, 10–50 contoh berlabel yang dipilih secara acak per kelas memberikan sinyal yang cukup bagi LightGBM untuk menghasilkan estimasi ketidakpastian yang bermakna untuk putaran kueri pertama.
Haruskah saya melatih ulang LightGBM dari awal setiap putaran?
Melatih ulang dari awal memastikan model sepenuhnya mencerminkan kumpulan data berlabel yang diperbarui dan merupakan praktik standar. Untuk kumpulan data yang sangat besar atau banyak putaran, pendekatan inkremental ada tetapi memerlukan kehati-hatian untuk menghindari penyimpangan model.
Bagaimana saya tahu kapan harus berhenti melakukan kueri?
Aturan penghentian umum meliputi: mencapai anggaran pelabelan tetap, akurasi validasi yang disisihkan mendatar selama beberapa putaran, atau skor ketidakpastian maksimum turun di bawah ambang batas. Memantau kinerja kumpulan pengujian acak yang disisihkan di seluruh putaran adalah indikator yang paling andal.
Apakah Pembelajaran Aktif LightGBM sama dengan pembelajaran semi-terawasi?
Tidak. Pembelajaran semi-terawasi menggunakan data tak berlabel secara langsung dalam pelatihan (misalnya, label semu atau regularisasi konsistensi). Pembelajaran aktif meminta peramal manusia untuk mendapatkan label yang sebenarnya untuk instans tak berlabel yang dipilih; data tak berlabel tanpa label yang dikueri tidak digunakan untuk pelatihan.
Metode terkait
Sumber
Settles, B. (2012). Active Learning. Synthesis Lectures on Artificial Intelligence and Machine Learning, 6(1), 1–114. Morgan & Claypool.
Buka referensi DOIDisalin.Ke, G., Meng, Q., Finley, T., Wang, T., Chen, W., Ma, W., Ye, Q., & Liu, T.-Y. (2017). LightGBM: A Highly Efficient Gradient Boosting Decision Tree. Advances in Neural Information Processing Systems, 30, 3146–3154.
Buka referensi publikasiDisalin.