Skip to content
Kembali ke hasil pencarian

Pohon Keputusan Semi-Terawasi

Diperkenalkan oleh
Various (Levin & Shapiro; Zhu & Goldberg lineage)
Tahun
2000s
Jenis
Semi-supervised classifier / regressor
Keluarga
Machine learning

Teks ini adalah terjemahan mesin dan belum ditinjau. Baca versi asli dalam bahasa Inggris

Ukuran huruf

Apa fungsinya?

Pohon Keputusan Semi-Terawasi memperluas induksi pohon keputusan standar — seperti CART atau C4.5 — untuk memanfaatkan observasi tak berlabel bersama dengan set pelatihan berlabel.

Dengan secara iteratif menetapkan label tentatif ke data tak berlabel dan memasukkannya ke dalam proses pertumbuhan atau pemisahan, algoritma dapat mencapai akurasi yang lebih baik daripada pohon yang sepenuhnya terawasi yang dilatih hanya pada subset berlabel, yang sangat berharga ketika pelabelan mahal atau memakan waktu.

Intuisi di balik metode

Melabeli setiap observasi itu mahal, namun data tak berlabel masih mengandung informasi struktural yang berguna tentang ruang fitur. Pohon keputusan semi-terawasi mengeksploitasi ini dengan terlebih dahulu membangun pohon dari beberapa contoh berlabel, menggunakan pohon itu untuk memberi label sementara pada data tak berlabel, dan kemudian melatih ulang pada set yang diperluas. Iterasi berulang menyempurnakan label sementara dan struktur pohon secara bersamaan, sehingga model belajar dari distribusi data keseluruhan bahkan ketika label kebenaran dasar langka.

Sejarah

Pembelajaran semi-terawasi muncul pada akhir 1990-an ketika para peneliti berusaha untuk mengeksploitasi kelimpahan data tak berlabel yang tersedia di domain seperti klasifikasi web dan biologi komputasi. Varian pelatihan mandiri dari pohon keputusan, di mana pohon secara iteratif memberi label data tak berlabelnya sendiri, adalah salah satu instansiasi paling awal. Perlakuan formal muncul dalam survei oleh Zhu & Goldberg (2009), yang menempatkan pelatihan mandiri berbasis pohon dalam taksonomi pembelajaran semi-terawasi yang lebih luas. Sejak itu, pendekatan telah diperluas ke pengaturan ansambel, menghasilkan hutan acak semi-terawasi dan pohon yang ditingkatkan gradien.

Kapan digunakan

Pohon keputusan semi-terawasi sesuai ketika data berlabel langka dan mahal untuk diperoleh tetapi tersedia banyak observasi tak berlabel — umum dalam anotasi pencitraan medis, klasifikasi teks, dan pemantauan berbasis sensor. Mereka sangat berguna ketika distribusi fitur keseluruhan ditangkap dengan baik oleh kumpulan tak berlabel dan ketika model yang dapat diinterpretasikan manusia (pohon) diperlukan. Hindari metode ini ketika sampel berlabel sangat kecil sehingga pohon awal sangat tidak dapat diandalkan, ketika data tak berlabel tidak mewakili distribusi pengujian, atau ketika proses pelabelan semu diharapkan menyebarkan kesalahan sistematis (bias konfirmasi). Dalam kasus tersebut, metode yang sepenuhnya terawasi pada data berlabel bersih, atau pendekatan semi-terawasi alternatif seperti propagasi label atau co-training, mungkin lebih aman.

Batasan dan pertimbangan

  • Kesalahan label semu dari pohon awal yang tidak dapat diandalkan dapat diperkuat di seluruh iterasi, menurunkan kinerja dibandingkan dengan baseline yang sepenuhnya terawasi.
  • Metode ini mengasumsikan bahwa data tak berlabel berbagi distribusi yang sama dengan data berlabel; pergeseran distribusi melanggar asumsi ini.
  • Biaya komputasi meningkat dengan setiap iterasi karena pohon dilatih ulang pada kumpulan data efektif yang semakin besar.
  • Memilih ambang batas kepercayaan untuk penyertaan label semu memerlukan penyetelan dan validasi silang yang cermat.

Syarat dari sumber tidak menggantikan tinjauan ilmiah independen atau validasi oleh mesin analisis.

Kelebihan

  • Memanfaatkan data tak berlabel untuk meningkatkan akurasi ketika contoh berlabel sedikit, mengurangi biaya anotasi.
  • Mempertahankan interpretasi pohon keputusan: model yang dihasilkan adalah seperangkat aturan jika-maka yang dapat dibaca manusia.
  • Secara alami menangani tipe fitur campuran — kontinu, kategorikal, biner — tanpa normalisasi pra-pemrosesan.
  • Pelatihan mandiri iteratif mudah diimplementasikan di atas pembelajar pohon yang ada.
  • Dapat menangkap batas nonlinier dan interaksi fitur yang dilewatkan oleh model semi-terawasi linier.

Penerapan

  • Klasifikasi gambar dan catatan medis di mana anotasi ahli mahal dan arsip tak beranotasi yang besar ada.
  • Kategorisasi teks dan dokumen dengan korpus berlabel kecil dan koleksi tak berlabel besar.
  • Analisis data sensor dan IoT di mana hanya sebagian dari segmen deret waktu yang diberi label secara manual.
  • Tugas bioinformatika seperti prediksi fungsi gen dengan sedikit label yang diverifikasi secara eksperimental.
  • Deteksi penipuan ketika kasus penipuan berlabel jarang dibandingkan dengan volume transaksi tak berlabel.

Cara kerjanya

Cara kerjanya

1

Pohon keputusan standar (misalnya, CART atau C4.5) disesuaikan hanya menggunakan bagian berlabel dari kumpulan data. Model awal ini memberikan perkiraan pertama batas keputusan dan berfungsi sebagai benih untuk iterasi semi-terawasi berikutnya.

2

Setiap observasi tak berlabel dilewatkan melalui pohon saat ini, dan kelas yang diprediksi (untuk klasifikasi) atau nilai yang diprediksi (untuk regresi) ditetapkan sebagai label sementara. Perkiraan kepercayaan atau probabilitas dari node daun dapat digunakan untuk memilih hanya label semu yang paling andal, menyaring penetapan kepercayaan rendah.

3

Pohon dilatih ulang dari awal menggunakan contoh berlabel asli dan observasi tak berlabel yang baru diberi label semu. Label semu dengan kepercayaan tinggi berkontribusi pada keputusan pemisahan bersama dengan label asli, secara efektif memperbesar set pelatihan yang efektif.

4

Kriteria pemisahan yang dimodifikasi — seperti entropi atau Gini yang dihitung atas observasi berlabel dan tak berlabel, atau tujuan bi-kriteria yang menyeimbangkan kemurnian terawasi dengan koherensi kluster tak terawasi — memandu pemisahan node untuk menghormati distribusi data yang mendasarinya yang diungkapkan oleh titik-titik tak berlabel.

5

Iterasi berlanjut hingga label sementara stabil di seluruh putaran berturut-turut atau batas iterasi maksimum tercapai. Strategi pemangkasan pasca-standar (pemangkasan kompleksitas biaya, ukuran daun minimum) kemudian diterapkan pada pohon akhir untuk mengontrol overfitting pada data yang diberi label semu.

Kesalahan umum

  • Menggunakan semua label semu terlepas dari kepercayaan, yang memungkinkan penetapan kualitas rendah mendominasi iterasi selanjutnya.
  • Gagal memverifikasi bahwa data tak berlabel diambil dari distribusi yang sama dengan set berlabel sebelum pelatihan.
  • Memperlakukan statistik daun pohon akhir sebagai sepenuhnya terawasi saat melaporkan metrik kinerja — evaluasi di luar kantong atau label yang ditahan diperlukan.
  • Melewatkan pemangkasan setelah augmentasi label semu, menyebabkan overfitting parah pada label sementara yang berisik.
  • Membandingkan secara langsung dengan pohon yang sepenuhnya terawasi yang dilatih pada subset berlabel yang sama tanpa memperhitungkan data tak berlabel tambahan yang digunakan.

Pertanyaan yang sering diajukan

Bagaimana pohon keputusan semi-terawasi berbeda dari pengklasifikasi pelatihan mandiri biasa?

Prinsip inti — menggunakan prediksi pada data tak berlabel untuk menambah pelatihan — adalah sama. Apa yang membedakan pendekatan spesifik pohon adalah opsi untuk memodifikasi kriteria pemisahan itu sendiri untuk menggabungkan informasi distribusi tak berlabel, daripada hanya memperluas set berlabel secara iteratif.

Berapa banyak contoh berlabel yang saya perlukan untuk memulai?

Tidak ada minimum universal, tetapi pohon terawasi awal harus cukup andal untuk menghasilkan label semu yang berguna. Dalam praktiknya, setidaknya 20–50 contoh berlabel per kelas sering direkomendasikan; dengan lebih sedikit, risiko propagasi kesalahan tinggi dan pendekatan alternatif seperti propagasi label mungkin bekerja lebih baik.

Haruskah saya menggunakan semua data tak berlabel atau memilih subset?

Memilih hanya label semu dengan kepercayaan tinggi — misalnya, yang probabilitas daunnya melebihi ambang batas seperti 0,85 — umumnya berkinerja lebih baik daripada menggunakan semua titik tak berlabel, terutama ketika pohon awal tidak sempurna.

Apakah ini menggantikan validasi silang standar?

Tidak. Karena label semu berasal dari model itu sendiri, metrik dalam sampel bersifat optimis. Evaluasi harus menggunakan set pengujian berlabel yang ditahan atau validasi silang k-lipat yang diterapkan secara ketat pada partisi berlabel.

Bisakah saya menggabungkannya dengan metode ansambel?

Ya. Hutan acak semi-terawasi dan pendekatan co-forest memperluas ide ke ansambel, yang dapat mengurangi varians kesalahan label semu dan biasanya berkinerja lebih baik daripada satu pohon semi-terawasi.

Metode terkait

Sumber

  1. Levin, E. & Shapiro, E. (2000). Learning Decision Trees from Semi-labeled Examples. Proceedings of the ICML Workshop on Attribute-Value and Relational Learning.

    Buka referensi publikasi
    Disalin.
  2. Zhu, X. & Goldberg, A. B. (2009). Introduction to Semi-Supervised Learning. Morgan & Claypool Publishers.

    ISBN: 978-1-598-29548-9
    Disalin.