Semi-supervised Isolation Forest
- Diperkenalkan oleh
- Extended from Liu, F.T., Ting, K.M., and Zhou, Z-H. (iForest, 2008); semi-supervised variants developed by multiple authors ca. 2013–2020
- Tahun
- 2013–2020
- Jenis
- Ensemble anomaly detection (semi-supervised extension)
- Keluarga
- Machine learning
Teks ini adalah terjemahan mesin dan belum ditinjau. Baca versi asli dalam bahasa Inggris
Apa fungsinya?
Semi-supervised Isolation Forest memperluas detektor anomali Isolation Forest klasik dengan menggabungkan sejumlah kecil contoh anomali (dan mungkin normal) berlabel bersama dengan kumpulan data besar yang tidak berlabel.
Panduan label ini menyesuaikan skor anomali model sehingga anomali yang diketahui dipisahkan dengan lebih andal, menjembatani kesenjangan antara deteksi yang sepenuhnya tanpa pengawasan dan yang sepenuhnya diawasi.
Intuisi di balik metode
Isolation Forest standar menilai anomali berdasarkan seberapa cepat pohon acak mengisolasi suatu titik — anomali diisolasi dalam lebih sedikit pemisahan. Tetapi tanpa label apa pun, model tidak memiliki umpan balik tentang apa yang sebenarnya dianggap anomali di domain Anda. Semi-supervised Isolation Forest memperkenalkan sejumlah kecil contoh yang dikonfirmasi (anomali yang diketahui, atau normal yang diketahui, atau keduanya) dan menggunakannya untuk mengalibrasi atau menimbang ulang proses penilaian. Hasilnya adalah kekuatan pemisahan inheren hutan diarahkan pada pola anomali yang benar-benar penting, secara substansial mengurangi alarm palsu dan deteksi yang terlewat tanpa memerlukan set pelatihan berlabel penuh.
Sejarah
Isolation Forest diperkenalkan oleh Liu, Ting, dan Zhou pada tahun 2008 sebagai detektor anomali yang sepenuhnya tanpa pengawasan berdasarkan partisi rekursif acak. Menyadari bahwa bahkan beberapa label dapat secara dramatis meningkatkan deteksi, para peneliti dari sekitar tahun 2013 dan seterusnya mengembangkan ekstensi semi-pengawasan yang menggabungkan panduan label ke dalam proses penilaian atau penimbangan pohon. Dasar teoritis terkait pada deteksi anomali yang diawasi diletakkan oleh Görnitz et al. (2013), dan varian SSIF praktis muncul di forum terapan yang menangani deteksi penipuan dan intrusi jaringan hingga akhir 2010-an.
Kapan digunakan
Gunakan Semi-supervised Isolation Forest ketika Anda memiliki kumpulan data tidak berlabel yang besar, biaya pelabelan penuh sangat mahal, tetapi Anda dapat memperoleh label untuk setidaknya sejumlah kecil anomali yang dikonfirmasi (dan secara opsional beberapa normal yang dikonfirmasi). Ini sangat berharga untuk deteksi kejadian langka dalam keamanan siber, penipuan, pemeliharaan prediktif, dan pemantauan medis di mana pakar domain dapat memberi label pada segelintir insiden yang diketahui. Jangan menggunakannya ketika tidak ada anomali berlabel sama sekali (lebih baik pilih Isolation Forest standar atau One-Class SVM), ketika data berdimensi tinggi dan jarang tanpa pra-pemrosesan, atau ketika set berlabel penuh yang besar sudah tersedia (klasifikasi yang sepenuhnya diawasi akan mengunggulinya).
Batasan dan pertimbangan
- Kinerja menurun jika anomali berlabel tidak mewakili distribusi anomali dalam data tidak berlabel.
- Mekanisme integrasi label yang optimal bervariasi di berbagai implementasi; belum ada varian dominan universal tunggal.
- Seperti iForest standar, metode ini dapat kesulitan dengan anomali yang mengelompok di dekat pusat data atau dengan distribusi multimodal tertentu.
- Memerlukan kehati-hatian untuk menghindari kebocoran data saat mengevaluasi: set berlabel tidak boleh tumpang tindih dengan set pengujian.
Syarat dari sumber tidak menggantikan tinjauan ilmiah independen atau validasi oleh mesin analisis.
Kelebihan
- Mencapai presisi dan recall yang lebih tinggi daripada iForest tanpa pengawasan penuh dengan menambatkan skor ke anomali berlabel nyata.
- Hanya memerlukan sejumlah kecil label, membuatnya praktis ketika anotasi mahal.
- Mewarisi waktu pelatihan sub-linear dan jejak memori rendah iForest, diskalakan ke kumpulan data besar.
- Menangani data tabular berdimensi tinggi tanpa asumsi jarak atau kepadatan.
- Mengurangi pemilihan ambang batas arbitrer: subset berlabel menyediakan dasar kalibrasi yang berprinsip.
Penerapan
- Deteksi intrusi jaringan menggunakan segelintir sampel serangan yang dikonfirmasi bersama dengan lalu lintas normal.
- Deteksi penipuan keuangan di mana hanya sejumlah kecil transaksi penipuan yang dikonfirmasi yang tersedia untuk pelabelan.
- Pemeliharaan prediktif: menggunakan kejadian kegagalan yang dikonfirmasi untuk mengalibrasi skor anomali pada aliran sensor.
- Pemantauan medis: memandu penilaian anomali dengan kasus patologis yang dikonfirmasi dari catatan kesehatan elektronik.
- Kontrol kualitas dalam manufaktur di mana hanya sebagian unit cacat yang diverifikasi secara independen.
Cara kerjanya
Cara kerjanya
Data yang tersedia dibagi menjadi subset berlabel kecil — berisi anomali yang dikonfirmasi, normal yang dikonfirmasi, atau keduanya — dan kumpulan data tidak berlabel yang besar. Subset berlabel kecil berdasarkan desain; memperoleh label penuh biasanya mahal atau tidak praktis, yang justru merupakan skenario yang ditargetkan oleh metode ini.
Sebuah ansambel pohon isolasi ditumbuhkan pada sampel acak dari kumpulan data penuh (berlabel ditambah tidak berlabel), mengikuti prosedur iForest standar: pada setiap simpul internal, fitur acak dan nilai pemisahan acak dalam rentang fitur tersebut dipilih untuk mempartisi data secara rekursif sampai setiap titik terisolasi.
Setiap observasi menerima skor anomali yang berasal dari panjang jalur rata-ratanya di semua pohon. Jalur rata-rata yang lebih pendek — berarti isolasi lebih mudah — menghasilkan skor anomali yang lebih tinggi. Skor yang dinormalisasi s(x, n) memetakan ke (0, 1], dengan nilai di dekat 1 menunjukkan kandidat anomali yang kuat.
Rumus
s(x, n) = 2^{-E[h(x)] / c(n)}Contoh berlabel digunakan untuk menyesuaikan model: tergantung pada variannya, ini mungkin melibatkan penimbangan ulang pohon atau pemisahan yang secara benar memisahkan anomali yang diketahui dari normal, menambahkan istilah kerugian yang diawasi ke agregasi skor, atau menggunakan set berlabel untuk mempelajari batas keputusan di atas skor tanpa pengawasan. Langkah ini adalah perbedaan yang menentukan dari iForest standar.
Ambang batas diterapkan pada skor anomali yang disesuaikan untuk menghasilkan keputusan biner anomali / normal. Subset berlabel memungkinkan pemilihan ambang batas berbasis data — misalnya, memilih batas potong yang memaksimalkan F1 pada contoh berlabel — daripada mengandalkan persentil arbitrer.
Kesalahan umum
- Menggunakan hanya label anomali dan mengabaikan label normal ketika keduanya tersedia — menggabungkan normal yang dikonfirmasi dapat lebih mempertajam batas keputusan.
- Mengevaluasi pada set pengujian yang mencakup contoh pelatihan berlabel, meningkatkan metrik kinerja.
- Memilih ambang batas skor anomali berdasarkan persentil tetap alih-alih menggunakan set berlabel untuk kalibrasi.
- Mengasumsikan metode ini kuat ketika anomali berlabel hanya mencakup satu subtipe sementara kumpulan data tidak berlabel berisi pola anomali yang beragam.
- Mengabaikan pra-pemrosesan fitur berdimensi tinggi atau tipe campuran sebelum pemasangan, yang dapat membiaskan pemilihan pemisahan acak.
Pertanyaan yang sering diajukan
Berapa banyak anomali berlabel yang saya perlukan?
Bahkan segelintir — terkadang hanya 10–50 anomali yang dikonfirmasi — dapat memberikan kalibrasi yang berarti. Persyaratan utamanya adalah bahwa mereka mewakili jenis anomali yang ada di kumpulan data tidak berlabel. Cakupan label yang lebih beragam di berbagai subtipe anomali umumnya memberikan keuntungan yang lebih besar.
Bagaimana ini berbeda dari Isolation Forest standar?
Isolation Forest standar sepenuhnya tanpa pengawasan dan menilai anomali semata-mata berdasarkan panjang jalur tanpa umpan balik domain apa pun. Semi-supervised Isolation Forest menggabungkan set berlabel kecil untuk menyesuaikan skor atau bobot pohon, mengarahkan model ke pola anomali yang benar-benar relevan di domain Anda dan memungkinkan kalibrasi ambang batas yang berprinsip.
Bisakah saya menyertakan contoh normal berlabel serta anomali?
Ya, dan itu umumnya bermanfaat. Normal berlabel membantu model membedakan kasus batas dengan lebih tajam. Beberapa varian memperlakukan set berlabel sebagai referensi yang seimbang untuk mengalibrasi fungsi penilaian, sehingga menyertakan kedua kelas ketika tersedia meningkatkan batas keputusan.
Haruskah saya menggunakan validasi silang untuk mengevaluasi model?
Ya, tetapi dengan hati-hati. Subset berlabel harus dikecualikan dari atau distratifikasi dengan benar dalam set pengujian untuk menghindari kebocoran data. Pemisahan latih/uji yang terstratifikasi pada bagian berlabel, dikombinasikan dengan kumpulan data tidak berlabel penuh untuk pelatihan, adalah pengaturan evaluasi standar.
Bagaimana jika anomali berlabel saya tidak mewakili?
Penyesuaian yang dipandu label dapat menjadi bumerang jika anomali berlabel mencakup hanya sebagian kecil dari distribusi anomali yang sebenarnya. Dalam kasus tersebut, model dapat melewatkan jenis anomali baru yang tidak pernah ditunjukkan kepadanya. Disarankan untuk melengkapi deteksi semi-pengawasan dengan penilaian anomali tanpa pengawasan dan memantau penyimpangan distribusi dalam produksi.
Metode terkait
Sumber
Görnitz, N., Kloft, M., Rieck, K., & Brefeld, U. (2013). Toward supervised anomaly detection. Journal of Artificial Intelligence Research, 46, 235–262.
Buka referensi publikasiDisalin.Isolation Forest. Wikipedia.
Buka referensi publikasiDisalin.