Pohon Keputusan Pembelajaran Aktif
- Diperkenalkan oleh
- Settles, B. (active learning framework); Breiman et al. (decision tree base)
- Tahun
- 1984–2010
- Jenis
- Active learning with decision tree base learner
- Keluarga
- Machine learning
Teks ini adalah terjemahan mesin dan belum ditinjau. Baca versi asli dalam bahasa Inggris
Apa fungsinya?
Pembelajaran aktif dengan pohon keputusan menggabungkan struktur pohon gaya CART yang dapat diinterpretasikan dengan strategi kueri yang memilih instans tak berlabel yang paling informatif untuk anotasi manusia.
Model secara iteratif meminta label hanya untuk contoh-contoh yang paling tidak pasti, meminimalkan biaya pelabelan sambil memaksimalkan akurasi klasifikasi pada data tabular.
Intuisi di balik metode
Melabeli setiap contoh pelatihan itu mahal. Pembelajaran aktif memecahkan masalah ini dengan membiarkan model bertanya: 'Contoh tak berlabel mana, jika diberi label, yang akan mengajarkan saya paling banyak?' Pohon keputusan digunakan sebagai pengklasifikasi yang memperkirakan ketidakpastian pada setiap langkah kueri. Setelah setiap label baru ditambahkan, pohon dilatih ulang, dan siklus kueri berulang. Hasilnya adalah model yang mencapai akurasi kompetitif dengan contoh berlabel jauh lebih sedikit daripada pohon yang sepenuhnya diawasi yang dilatih dari awal, membuatnya praktis untuk pengaturan di mana anotasi mahal atau memakan waktu.
Sejarah
Pohon keputusan sebagai pengklasifikasi berasal dari CART (1984) karya Breiman et al. dan C4.5 (1993) karya Quinlan. Pembelajaran aktif sebagai kerangka kerja sistematis disurvei secara komprehensif oleh Burr Settles (2010), yang mendokumentasikan strategi pengambilan sampel ketidakpastian, query-by-committee, dan expected model change. Pohon keputusan telah menjadi pembelajar dasar standar dalam tolok ukur pembelajaran aktif sejak akhir 1990-an, muncul dalam karya pengambilan sampel berbasis kumpulan awal Cohn, Atlas, dan Ladner (1994) dan perbandingan empiris selanjutnya di berbagai jenis pembelajar.
Kapan digunakan
Gunakan pembelajaran aktif dengan pohon keputusan ketika data pelatihan berlabel langka atau mahal untuk diperoleh, tetapi tersedia banyak contoh tak berlabel — misalnya dalam anotasi medis, klasifikasi dokumen, atau tugas deteksi kesalahan sensor. Basis pohon keputusan sangat cocok ketika interpretasi model akhir diperlukan bersama dengan efisiensi pelabelan. Hindari pendekatan ini ketika seluruh kumpulan data dapat diberi label dengan murah (pembelajaran pasif sudah cukup), ketika kumpulan berlabel sudah besar (ratusan atau ribuan), ketika ruang fitur berdimensi sangat tinggi (pembelajar aktif gradien boosting atau neural berkinerja lebih baik), atau ketika biaya pelatihan ulang per iterasi terlalu mahal untuk kumpulan data yang sangat besar.
Batasan dan pertimbangan
- Strategi kueri dan pelatihan ulang pohon bersama-sama dapat memakan banyak komputasi ketika kumpulan tak berlabel sangat besar.
- Pohon keputusan adalah pembelajar varians tinggi; dengan sedikit label awal, pohon awal mungkin tidak dapat diandalkan, yang mengarah pada kueri awal yang buruk.
- Batas kinerja lebih rendah daripada metode ansambel seperti random forest atau gradient boosting pada anggaran label yang sama.
- Mengasumsikan label oracle akurat; label yang berisik atau tidak konsisten dapat menurunkan putaran aktif lebih cepat daripada dalam pembelajaran pasif.
Syarat dari sumber tidak menggantikan tinjauan ilmiah independen atau validasi oleh mesin analisis.
Kelebihan
- Secara dramatis mengurangi jumlah label yang dibutuhkan untuk mencapai akurasi target dibandingkan dengan pengambilan sampel acak.
- Model dasar pohon keputusan dapat diinterpretasikan oleh manusia, membuatnya cocok untuk domain yang diatur atau memerlukan penjelasan.
- Bekerja dengan baik pada kumpulan data tabular berukuran sedang dengan tipe fitur campuran tanpa memerlukan penskalaan fitur.
- Strategi kueri berbasis ketidakpastian mudah diimplementasikan dan dijelaskan kepada pemangku kepentingan.
- Akurasi di luar kantong (out-of-bag) atau akurasi set validasi setelah setiap iterasi memberikan kurva pembelajaran yang transparan.
Penerapan
- Anotasi gambar atau rekam medis di mana waktu pelabelan ahli terbatas.
- Klasifikasi teks dengan dokumen berlabel langka dan korpus tak berlabel yang besar.
- Deteksi kesalahan sensor dan industri dengan biaya anotasi tinggi.
- Kumpulan data ekologi atau penginderaan jauh di mana verifikasi lapangan mahal.
- Pipeline deteksi penipuan di mana hanya sebagian kecil transaksi yang dapat ditinjau secara manual.
Cara kerjanya
Cara kerjanya
Kumpulan kecil instans berlabel awal dikumpulkan untuk memulai proses, bersama dengan kumpulan instans tak berlabel yang lebih besar. Kumpulan berlabel biasanya dipilih secara acak atau melalui pengambilan sampel bertingkat untuk memastikan setidaknya satu contoh dari setiap kelas yang diharapkan ada sebelum putaran aktif dimulai.
Pengklasifikasi pohon keputusan (biasanya CART atau C4.5) dilatih pada kumpulan berlabel saat ini. Pohon mempelajari aturan pemisahan yang meminimalkan ketidakmurnian (Gini atau entropi) di setiap node, menghasilkan pengklasifikasi yang juga dapat mengeluarkan perkiraan probabilitas kelas untuk instans tak berlabel apa pun.
Kriteria informativitas — yang paling umum adalah pengambilan sampel ketidakpastian berdasarkan entropi prediksi H atau margin antara dua probabilitas kelas teratas — menilai setiap instans tak berlabel. Instans dengan skor ketidakpastian tertinggi dipilih sebagai kueri: x* = argmax H(y-hat | x).
Rumus
x^* = \arg\max_{x \in U} H(\hat{y} \mid x)Instans yang dipilih disajikan kepada oracle (anotator manusia atau mekanisme pelabelan otomatis) untuk anotasi. Label sejatinya ditambahkan ke kumpulan pelatihan berlabel, dan kumpulan tak berlabel menyusut satu. Langkah ini adalah hambatan kritis dalam aplikasi nyata dan harus diaudit untuk keandalan anotator.
Pohon keputusan dilatih ulang dari awal pada kumpulan berlabel yang diperluas, dan siklus kueri-skor-label berulang. Kriteria penghentian termasuk mencapai anggaran pelabelan, ambang batas akurasi minimum pada set validasi yang ditahan, atau jumlah iterasi maksimum. Evaluasi akhir harus menggunakan set pengujian yang sepenuhnya independen.
Kesalahan umum
- Menggunakan set pengujian untuk memandu strategi kueri, yang membocorkan informasi dan menggelembungkan metrik evaluasi.
- Gagal mengatur seed acak tetap, membuat urutan pelabelan dan hasil tidak dapat direproduksi antar eksekusi.
- Mengabaikan ketidakseimbangan kelas dalam set benih awal, menyebabkan pohon mengambil sampel terutama dari kelas mayoritas.
- Menghentikan putaran terlalu dini berdasarkan akurasi pelatihan daripada set validasi independen.
- Memperlakukan akurasi pembelajaran aktif akhir sebagai sebanding dengan baseline yang sepenuhnya diawasi tanpa melaporkan jumlah label yang digunakan.
Pertanyaan yang sering diajukan
Mengapa menggunakan pohon keputusan daripada model yang lebih kuat sebagai pembelajar dasar?
Pohon keputusan cepat dilatih ulang di setiap iterasi dan menghasilkan perkiraan probabilitas yang diperlukan untuk penilaian ketidakpastian. Interpretasi mereka juga penting dalam domain yang memerlukan penjelasan model akhir. Untuk akurasi maksimum, pembelajar aktif random forest atau gradient boosting mungkin lebih disukai dengan mengorbankan interpretasi.
Berapa banyak contoh berlabel awal yang saya perlukan untuk memulai?
Aturan praktis umum adalah setidaknya satu atau dua contoh per kelas untuk memastikan pohon dapat membuat pemisahan yang bermakna. Dalam praktiknya, memulai dengan 5-20 contoh berlabel adalah hal biasa; lebih sedikit dari itu berisiko pohon awal terlalu degeneratif untuk menghasilkan skor ketidakpastian yang informatif.
Apakah urutan kueri penting?
Ya. Urutan kueri bergantung pada jalur: kueri awal membentuk apa yang dipelajari pohon dan dengan demikian contoh berikutnya yang terlihat paling tidak pasti. Seed acak atau set berlabel awal yang berbeda dapat menghasilkan kurva pembelajaran yang berbeda secara substansial, jadi replikasi eksperimen di seluruh seed saat membandingkan strategi.
Kapan saya harus berhenti melakukan kueri?
Tentukan anggaran pelabelan terlebih dahulu, atau pantau akurasi validasi dan berhenti ketika peningkatan per label baru turun di bawah ambang batas. Jangan pernah menggunakan set pengujian sebagai kriteria penghentian, karena ini merupakan kebocoran data.
Bisakah saya menggunakan pendekatan ini dengan masalah multi-kelas?
Ya. Pengambilan sampel ketidakpastian berbasis entropi menggeneralisasi secara alami ke banyak kelas. Untuk pengaturan multi-kelas yang sangat tidak seimbang, pertimbangkan pohon keputusan yang peka terhadap biaya atau berbobot kelas dan pastikan set benih awal mencakup semua kelas.
Metode terkait
Sumber
Settles, B. (2010). Active Learning Literature Survey. Computer Sciences Technical Report 1648, University of Wisconsin-Madison.
Buka referensi publikasiDisalin.Breiman, L., Friedman, J., Olshen, R., & Stone, C. (1984). Classification and Regression Trees. Wadsworth & Brooks.
ISBN: 978-0-412-04841-8Disalin.