Pohon Keputusan Mandiri (Self-supervised Decision Tree)
- Diperkenalkan oleh
- Multiple authors (active research area, 2010s–2020s)
- Tahun
- 2015–present
- Jenis
- Self-supervised ensemble/single tree model
- Keluarga
- Machine learning
Teks ini adalah terjemahan mesin dan belum ditinjau. Baca versi asli dalam bahasa Inggris
Apa fungsinya?
Pembelajaran Pohon Keputusan Mandiri menggabungkan keterbacaan pohon keputusan klasik dengan kemampuan untuk memanfaatkan sejumlah besar data tak berlabel melalui tugas-tugas pretext mandiri.
Model ini mempelajari representasi fitur yang berguna atau kriteria pemisahan node dari sampel tak berlabel sebelum menyempurnakan prediksi pada kumpulan data berlabel kecil, menjembatani kesenjangan antara pohon yang sepenuhnya terawasi dan pengelompokan yang sepenuhnya tidak terawasi.
Intuisi di balik metode
Pohon keputusan standar memerlukan contoh berlabel di setiap node. Dalam banyak pengaturan dunia nyata, pengumpulan label itu mahal tetapi data mentah melimpah. Pohon keputusan mandiri mengatasi hal ini dengan terlebih dahulu meminta pohon untuk menyelesaikan tugas tambahan — misalnya, memprediksi apakah dua sampel termasuk dalam cluster yang sama, atau merekonstruksi fitur yang ditutupi — hanya menggunakan data tak berlabel. Fase pretext ini mengajarkan pohon fitur dan ambang batas mana yang informatif secara global. Ketika label akhirnya tiba, pohon sudah memiliki keunggulan awal dan membutuhkan jauh lebih sedikit label untuk mencapai akurasi yang baik.
Sejarah
Pembelajaran mandiri sebagai paradigma menjadi terkenal dalam pembelajaran mendalam melalui karya-karya tentang tujuan kontrastif dan tugas-tugas pretext pada tahun 2010-an. Para peneliti kemudian menerapkan ide-ide ini ke model berbasis pohon untuk memulihkan keunggulan keterbacaan mereka dalam rezim yang kekurangan label. Formulasi awal meminjam pelabelan semu dari pembelajaran semi-terawasi, sementara varian selanjutnya mengadopsi tujuan kontrastif dan rekonstruksi secara langsung dalam kriteria pertumbuhan pohon, menjadikan bidang ini area penelitian aktif hingga tahun 2020-an.
Kapan digunakan
Direkomendasikan ketika contoh pelatihan berlabel langka tetapi kumpulan data tak berlabel yang besar dari distribusi yang sama tersedia, dan ketika tingkat keterbacaan tertentu masih diperlukan (menyingkirkan pendekatan jaringan saraf dalam). Juga sesuai ketika pakar domain dapat merancang tugas pretext yang bermakna yang selaras dengan target prediksi. Tidak sesuai ketika kumpulan data berlabel sudah besar (pohon terawasi standar akan menyamai atau melampaui kinerja), ketika data tak berlabel berasal dari distribusi yang berbeda, atau ketika akurasi prediksi maksimum pada tolok ukur tabular adalah satu-satunya perhatian (boosting gradien umumnya akan mengunggulinya).
Batasan dan pertimbangan
- Kinerja sensitif terhadap desain tugas pretext; tugas yang dipilih dengan buruk dapat menyesatkan struktur pohon.
- Kebisingan label semu terakumulasi melalui pemisahan jika distribusi tak berlabel bergeser dari data berlabel.
- Biaya komputasi lebih tinggi daripada pohon terawasi standar karena fase pelatihan pretext.
- Jaminan teoretis tentang kualitas label semu dan konvergensi kurang mapan dibandingkan dengan pohon yang sepenuhnya terawasi.
Syarat dari sumber tidak menggantikan tinjauan ilmiah independen atau validasi oleh mesin analisis.
Kelebihan
- Memanfaatkan data tak berlabel yang melimpah untuk meningkatkan generalisasi ketika sampel berlabel langka.
- Mempertahankan keterbacaan pohon keputusan: pemisahan tetap dapat dibaca dan diaudit oleh manusia.
- Kerangka kerja fleksibel yang mengakomodasi berbagai tugas pretext yang disesuaikan dengan pengetahuan domain.
- Mengurangi biaya pelabelan tanpa mengorbankan sifat kotak putih dari prediksi berbasis pohon.
- Kompatibel dengan ekstensi ansambel (hutan acak, boosting) untuk peningkatan akurasi lebih lanjut.
Penerapan
- Diagnosis medis di mana catatan pasien berlabel jarang tetapi data pencitraan atau klinis tak berlabel berlimpah.
- Deteksi kesalahan industri menggunakan log sensor operasi normal yang melimpah dan sedikit peristiwa kesalahan berlabel.
- Klasifikasi bahasa alami dengan korpus beranotasi terbatas tetapi kumpulan teks mentah yang besar.
- Deteksi penipuan keuangan di mana label penipuan yang dikonfirmasi jarang dibandingkan dengan volume transaksi.
- Analisis data ilmiah (genomik, iklim) di mana anotasi pakar adalah hambatan.
Cara kerjanya
Cara kerjanya
Tugas pretext dirancang agar pohon keputusan dapat dilatih pada data tak berlabel dengan sinyal pengawasan yang dibuat secara otomatis. Pilihan umum termasuk memprediksi keanggotaan cluster dari langkah k-means sebelumnya, memprediksi nilai fitur yang ditutupi atau rusak, atau menetapkan label rotasi/transformasi ke instance. Tugas pretext memaksa struktur pohon untuk menemukan pemisahan yang informatif tanpa label yang disediakan manusia.
Setelah fase pretext, label semu (pseudo-labels) dengan keyakinan tinggi ditetapkan ke instance tak berlabel menggunakan representasi atau penugasan cluster yang sudah dipelajari. Label semu ini diperlakukan sebagai target lunak dalam pelatihan selanjutnya, secara efektif memperluas kumpulan data berlabel dari kumpulan benih kecil ke kumpulan kerja yang jauh lebih besar sambil menyebarkan perkiraan ketidakpastian struktural di samping setiap label.
Menggunakan sinyal gabungan dari label semu dan label asli yang tersedia, pohon keputusan ditumbuhkan menggunakan algoritma pemisahan standar (misalnya, CART, ID3, atau C4.5). Fitur yang diturunkan dari pretext atau skor cluster dapat berfungsi sebagai dimensi input tambahan, memperkaya ruang fitur di luar input mentah dan memungkinkan pemisahan yang akan terlewatkan oleh pohon yang sepenuhnya terawasi pada label yang jarang.
Pemisahan node dipilih untuk memaksimalkan kriteria informasi — perolehan informasi, ketidakmurnian Gini, atau tujuan kontrastif mandiri — yang dievaluasi pada kumpulan data pelatihan yang diperluas. Karena label semu mencerminkan struktur global yang dipelajari dari banyak sampel tak berlabel, pemisahan cenderung menggeneralisasi lebih baik daripada yang dipelajari hanya dari kumpulan data berlabel yang sangat kecil.
Setelah pohon awal ditumbuhkan, tahap penyempurnaan memangkas ulang atau menimbang ulang prediksi daun hanya menggunakan contoh berlabel yang diverifikasi. Ini memperbaiki kebisingan label semu yang diperkenalkan pada tahap sebelumnya dan memastikan prediksi akhir selaras dengan batas kelas kebenaran dasar (ground-truth) daripada batas label semu yang diperkirakan.
Kesalahan umum
- Merancang tugas pretext yang tidak terkait dengan target hilir, yang mengarah pada representasi yang tidak ditransfer.
- Menggunakan label semu tanpa pem thresholding keyakinan, yang membanjiri kumpulan data pelatihan dengan contoh yang bising.
- Melewatkan tahap penyempurnaan dan menerapkan pohon yang dilatih dengan label semu secara langsung, yang mempertahankan kesalahan pelabelan sistematis.
- Mengabaikan pergeseran distribusi antara kumpulan data berlabel dan tak berlabel — label semu akan mencerminkan struktur data yang salah.
- Memperlakukan keterbacaan sebagai jaminan tanpa memverifikasi bahwa pemisahan yang diturunkan dari label semu tetap bermakna secara semantik.
Pertanyaan yang sering diajukan
Bagaimana ini berbeda dari pembelajaran semi-terawasi dengan pohon keputusan?
Pendekatan semi-terawasi biasanya menyebarkan label dari node berlabel ke node tak berlabel secara langsung. Pohon keputusan mandiri pertama-tama mendefinisikan tugas pretext yang menghasilkan sinyal pengawasan sintetis dari data tak berlabel saja, memberikan panduan struktural yang lebih kaya kepada pohon sebelum label hilir apa pun terlihat.
Tugas pretext apa yang harus saya pilih?
Tugas pretext terbaik mencerminkan target hilir. Untuk klasifikasi tabular, prediksi cluster k-means atau rekonstruksi fitur yang ditutupi adalah titik awal yang umum. Jika pengetahuan domain tersedia — misalnya, urutan temporal dalam baris deret waktu — tugas yang memanfaatkan struktur itu akan ditransfer lebih baik.
Apakah ini berfungsi untuk target regresi?
Ya. Label semu bisa berupa pusat cluster kontinu atau nilai fitur yang direkonstruksi, dan pohon dapat ditumbuhkan dengan kriteria mean-squared-error pada tahap penyempurnaan. Tugas pretext hanya perlu menghasilkan sinyal yang berkorelasi dengan hasil kontinu.
Bisakah saya menggabungkannya dengan hutan acak atau boosting?
Ya. Setiap pohon dalam ansambel dapat ditumbuhkan secara independen dengan prosedur mandiri, dan ansambel akhir menggabungkan suara atau prediksinya seperti biasa. Ini sering memulihkan sebagian besar kesenjangan akurasi dibandingkan dengan boosting gradien sambil mempertahankan keterbacaan pada tingkat pohon individu.
Bagaimana cara mengevaluasi kualitas label semu?
Bandingkan akurasi label semu pada subset berlabel kecil terhadap label kebenaran dasar sebelum penyempurnaan. Akurasi label semu di bawah 70% pada kumpulan data berlabel yang ditahan ini adalah tanda peringatan bahwa tugas pretext tidak selaras dengan baik atau bahwa pergeseran distribusi ada.
Metode terkait
Sumber
Self-supervised learning. Wikipedia.
Buka referensi publikasiDisalin.Decision tree learning. Wikipedia.
Buka referensi publikasiDisalin.