Skip to content
Kembali ke hasil pencarian

Isolation Forest Pembelajaran Aktif

Diperkenalkan oleh
Das, S. et al. (active anomaly discovery framework); Liu, F. T. et al. (Isolation Forest base)
Tahun
2008–2019
Jenis
Active learning wrapper over isolation forest anomaly detector
Keluarga
Machine learning

Teks ini adalah terjemahan mesin dan belum ditinjau. Baca versi asli dalam bahasa Inggris

Ukuran huruf

Apa fungsinya?

Isolation Forest Pembelajaran Aktif menggabungkan kekuatan penilaian anomali tanpa pengawasan dari Isolation Forest dengan strategi kueri iteratif yang meminta pakar manusia untuk memberi label pada instans yang paling informatif.

Hasilnya adalah detektor yang menyempurnakan batas anomalinya menggunakan anggaran pelabelan minimal, secara dramatis meningkatkan presisi pada anomali langka dan halus dibandingkan dengan baseline yang sepenuhnya tanpa pengawasan.

Intuisi di balik metode

Isolation Forest menilai anomali berdasarkan seberapa cepat mereka terisolasi dalam pohon acak, tetapi tidak dapat membedakan anomali yang benar-benar berbahaya dari outlier yang tidak berbahaya tanpa pengetahuan domain. Pembelajaran aktif menambahkan manusia-dalam-lingkaran: setelah hutan menilai semua instans, ia memilih yang paling ambigu atau yang mendapat skor tertinggi dan meminta pakar untuk mengonfirmasi atau menolak setiap label anomali. Dengan setiap label yang dikonfirmasi, model dapat menimbang ulang atau memberi peringkat ulang skor di masa mendatang. Selama beberapa putaran umpan balik, bahkan sejumlah kecil contoh berlabel mengarahkan detektor menjauh dari alarm palsu dan menuju anomali yang diminati.

Sejarah

Isolation Forest diperkenalkan oleh Liu, Ting, dan Zhou di ICDM 2008 sebagai detektor anomali yang cepat, skalabel, dan berprasangka ringan yang mengisolasi anomali daripada memodelkan perilaku normal. Pembelajaran aktif diterapkan pada deteksi anomali secara sistematis mulai pertengahan 2010-an dan seterusnya. Das dan rekan-rekannya (ICDM 2019) memformalkan kerangka kerja penemuan anomali aktif yang secara eksplisit menggabungkan pencetak skor berbasis ansambel — termasuk Isolation Forest — dengan umpan balik ahli iteratif, menunjukkan bahwa segelintir label dapat menyaingi detektor yang sepenuhnya diawasi yang dilatih pada ratusan contoh. Pendekatan ini sejak itu diterapkan dalam penipuan, deteksi intrusi, dan analitik sensor.

Kapan digunakan

Gunakan Isolation Forest Pembelajaran Aktif ketika Anda menghadapi tugas deteksi anomali pada data tabular tak berlabel atau sebagian besar tak berlabel dan mampu mengeluarkan sejumlah kecil label ahli — biasanya 10–100 kueri di beberapa putaran. Ini sangat cocok untuk keamanan siber, deteksi penipuan, pemeliharaan prediktif, dan identifikasi outlier klinis, di mana positif palsu mahal dan pakar domain dapat secara andal menilai instans yang disajikan. Jangan gunakan ketika tidak ada oracle yang andal, ketika konsep anomali tidak stabil sepanjang waktu, atau ketika biaya pelabelan per instans sangat tinggi sehingga bahkan 10 kueri tidak mungkin dilakukan. Pengklasifikasi yang sepenuhnya diawasi harus lebih disukai setelah kumpulan data berlabel berisi beberapa ratus anomali.

Batasan dan pertimbangan

  • Membutuhkan oracle yang andal dan tersedia; jika label ahli berisik atau tidak konsisten, umpan balik dapat menurunkan kualitas model.
  • Strategi kueri mengasumsikan bahwa penilaian seluruh kumpulan pada setiap putaran layak dilakukan, yang bisa mahal untuk kumpulan data yang sangat besar.
  • Pendekatan ini lebih sulit untuk direproduksi dan diaudit daripada Isolation Forest sederhana karena model akhir bergantung pada kueri spesifik yang dipilih dan label yang diberikan.
  • Pergeseran konsep — ketika sifat anomali berubah seiring waktu — tidak ditangani secara otomatis dan mungkin memerlukan inisialisasi ulang loop aktif.

Syarat dari sumber tidak menggantikan tinjauan ilmiah independen atau validasi oleh mesin analisis.

Kelebihan

  • Memanfaatkan skalabilitas dan interpretasi Isolation Forest sambil menyuntikkan pengetahuan ahli dengan upaya pelabelan minimal.
  • Secara substansial meningkatkan presisi di atas baseline yang sepenuhnya tanpa pengawasan, mengurangi positif palsu yang mahal di domain berisiko tinggi.
  • Strategi kueri yang independen dari model (ketidakpastian, top-k, keragaman) dapat diadaptasi ke pencetak skor anomali apa pun, tidak hanya Isolation Forest.
  • Bekerja dengan baik dalam pengaturan yang tidak seimbang kelas di mana anomali sangat langka dan pembelajaran terawasi akan membutuhkan kumpulan data berlabel yang besar.
  • Setiap putaran kueri memberikan peningkatan yang segera dan terukur dalam peringkat anomali, membuat kemajuan transparan bagi pemangku kepentingan.

Penerapan

  • Triase peringatan intrusi jaringan dan keamanan siber, di mana analis memberi label pada sejumlah kecil koneksi mencurigakan per giliran.
  • Deteksi penipuan kartu kredit dengan tinjauan analis berkala terhadap transaksi yang ditandai.
  • Pemeliharaan prediktif dalam manufaktur, mengidentifikasi kegagalan mesin langka dari aliran sensor dengan catatan kegagalan terbatas.
  • Deteksi outlier klinis dalam catatan kesehatan elektronik di mana dokter mengonfirmasi profil pasien yang tidak biasa.
  • Kontrol kualitas data ilmiah, menandai kesalahan instrumen dalam kumpulan data eksperimental yang ditinjau oleh ilmuwan domain.

Cara kerjanya

Cara kerjanya

1

Sebuah Isolation Forest pertama kali dilatih pada semua data tak berlabel yang tersedia. Setiap instans menerima skor anomali berdasarkan seberapa cepat partisi rekursif acak mengisolasinya: instans di wilayah yang jarang dan mudah diisolasi menerima skor tinggi. Lulus tanpa pengawasan ini menanamkan loop pembelajaran aktif dengan peringkat awal yang bermakna.

2

Semua instans kumpulan tak berlabel diberi peringkat berdasarkan skor anomali mereka. Strategi kueri — seperti memilih k instans berperingkat teratas, atau yang skornya jatuh dalam wilayah batas yang tidak pasti — mengidentifikasi instans yang label orakelnya akan paling informatif.

3

Instans yang dipilih disajikan kepada pakar domain (atau oracle simulasi dalam eksperimen) yang memberi label pada masing-masing sebagai anomali atau normal. Hanya sejumlah kecil kueri per putaran yang diperlukan, membuat pendekatan ini praktis ketika pelabelan mahal atau memerlukan penilaian ahli.

4

Instans berlabel baru dimasukkan ke dalam model. Ini dapat berarti menimbang ulang anggota ansambel yang jalurnya sesuai dengan anomali yang dikonfirmasi, menyempurnakan ambang batas panjang jalur, atau melatih ulang dengan set berlabel ditambahkan sebagai batasan pengawasan. Peringkat skor dihitung ulang untuk kumpulan yang tersisa.

5

Siklus kueri-label-pembaruan diulang untuk jumlah putaran tetap atau sampai anggaran pelabelan habis. Detektor akhir mencerminkan baik struktur luas yang ditangkap oleh hutan tanpa pengawasan asli maupun pengetahuan ahli yang dikodekan melalui umpan balik berlabel, menghasilkan peringkat anomali presisi tinggi yang disesuaikan dengan domain.

Kesalahan umum

  • Mengkueri instans dengan skor anomali tertinggi secara eksklusif dapat menciptakan bias konfirmasi, menyebabkan model melewatkan jenis anomali baru yang awalnya tampak normal.
  • Melaporkan kinerja hanya pada instans yang dikueri daripada pada set uji yang ditahan, yang meningkatkan perkiraan presisi.
  • Memperlakukan label oracle sebagai kebenaran dasar tanpa memperhitungkan ketidaksepakatan antar-penilai, terutama dalam konteks medis atau keamanan.
  • Lupa untuk mengevaluasi ulang hutan tanpa pengawasan penuh setelah umpan balik; skor usang dapat membuat putaran kueri berikutnya tidak efisien.

Pertanyaan yang sering diajukan

Berapa banyak instans berlabel yang biasanya dibutuhkan untuk peningkatan yang berarti?

Penelitian menunjukkan bahwa 10 hingga 50 label ahli, tersebar di 3 hingga 5 putaran umpan balik, seringkali cukup untuk secara substansial mengungguli Isolation Forest yang sepenuhnya tanpa pengawasan dalam presisi, asalkan label oracle dapat diandalkan.

Apakah Isolation Forest dasar perlu dilatih ulang dari awal setelah setiap putaran?

Belum tentu. Banyak implementasi menimbang ulang atau memberi peringkat ulang jalur pohon yang ada tanpa pelatihan ulang penuh, yang efisien secara komputasi. Pelatihan ulang penuh dengan batasan label adalah pilihan ketika set berlabel cukup besar untuk membenarkannya.

Strategi kueri mana yang paling cocok untuk deteksi anomali?

Penilaian top-k (memilih instans tak berlabel dengan skor tertinggi) sederhana dan efektif ketika anomali langka. Strategi berbasis ketidakpastian atau margin membantu ketika batas anomali ambigu. Strategi yang sadar keragaman mengurangi redundansi di antara kueri.

Bisakah pendekatan ini menangani data streaming atau online?

Isolation Forest standar adalah metode batch, jadi ekstensi pembelajaran aktif juga cenderung berorientasi batch. Untuk pengaturan streaming, varian Isolation Forest online atau jendela geser diperlukan sebelum umpan balik aktif dapat diterapkan.

Bagaimana cara mengevaluasi model secara adil mengingat hanya sedikit instans yang diberi label?

Tahan set uji berlabel terpisah yang tidak pernah digunakan untuk kueri. Evaluasi presisi, recall, dan AUCROC pada set ini di setiap putaran untuk melacak peningkatan yang sebenarnya daripada overfitting pada label yang dikueri.

Metode terkait

Sumber

  1. Das, S., Wong, W. K., Fern, A., Dietterich, T. G., & Amran Siddiqui, M. (2019). Incorporating Expert Feedback into Active Anomaly Discovery. In Proceedings of the 2019 IEEE International Conference on Data Mining (ICDM), pp. 1009–1014.

    Buka referensi publikasi
    Disalin.
  2. Liu, F. T., Ting, K. M., & Zhou, Z. H. (2008). Isolation Forest. In Proceedings of the 8th IEEE International Conference on Data Mining (ICDM), pp. 413–422.

    Buka referensi DOI
    Disalin.