Skip to content
Kembali ke hasil pencarian

Isolation Forest

Diperkenalkan oleh
Liu, F.T., Ting, K.M. & Zhou, Z.-H.
Tahun
2008
Jenis
Unsupervised ensemble (random partitioning trees)

Teks ini adalah terjemahan mesin dan belum ditinjau. Baca versi asli dalam bahasa Inggris

Ukuran huruf

Apa fungsinya?

Isolation Forest adalah metode pembelajaran mesin tanpa pengawasan untuk deteksi anomali dan pencilan, yang diperkenalkan oleh Liu, Ting, dan Zhou pada tahun 2008, yang mengisolasi anomali melalui partisi acak data.

Metode ini bekerja tanpa data anomali berlabel dan dapat diskalakan ke kumpulan data berdimensi tinggi.

Intuisi di balik metode

Ide intinya sederhana: anomali sedikit dan berbeda, sehingga mudah dipisahkan dari sisa data. Jika Anda terus membagi data secara acak, titik normal berada di wilayah padat dan membutuhkan banyak pemotongan untuk mengisolasinya, sedangkan pencilan berada terpisah dan terpotong setelah hanya beberapa pemotongan. Menghitung berapa banyak pemotongan yang diperlukan untuk mengisolasi setiap titik mengubah intuisi ini menjadi skor anomali.

Sejarah

Isolation Forest diusulkan oleh Fei Tony Liu, Kai Ming Ting, dan Zhi-Hua Zhou pada tahun 2008 di IEEE International Conference on Data Mining. Metode ini memperkenalkan filosofi yang berbeda untuk deteksi pencilan: alih-alih memprofilkan data normal dan mengukur penyimpangan, metode ini mengisolasi anomali secara langsung melalui partisi acak, memanfaatkan fakta bahwa anomali sedikit dan berbeda. Pendekatan ini menjadi alat yang banyak digunakan dan dapat diskalakan untuk deteksi anomali tanpa pengawasan pada data berdimensi tinggi.

Kapan digunakan

Gunakan Isolation Forest untuk mendeteksi anomali atau pencilan dalam data kontinu, berpotensi berdimensi tinggi, data cross-sectional atau time-series dengan setidaknya sekitar 50 observasi, terutama ketika Anda tidak memiliki anomali berlabel untuk dipelajari. Metode ini tidak memerlukan data anomali berlabel dan dapat diskalakan dengan baik seiring bertambahnya jumlah fitur; Anda menyediakan parameter kontaminasi yang menyatakan tingkat anomali yang diharapkan. Dengan kurang dari sekitar 50 observasi, batas antara titik normal dan anomali menjadi tidak dapat diandalkan dan metode pencilan statistik atau PCA lebih aman.

Batasan dan pertimbangan

  • Pada sampel kecil (n di bawah sekitar 50) batas antara titik normal dan anomali tidak jelas dan tingkat positif palsu tinggi.
  • Tanpa anomali asli yang cukup, parameter kontaminasi menjadi tidak berarti, dan metode pencilan statistik lebih disukai.
  • Metode ini mengembalikan skor anomali daripada koefisien yang dapat diinterpretasikan atau aturan eksplisit.
  • Hasil bergantung pada nilai kontaminasi yang dipilih, yang harus ditetapkan dari pengetahuan domain.

Syarat dari sumber tidak menggantikan tinjauan ilmiah independen atau validasi oleh mesin analisis.

Kelebihan

  • Tanpa Pengawasan: tidak memerlukan data anomali berlabel untuk menandai pencilan.
  • Dapat diskalakan dengan baik ke data berdimensi tinggi.
  • Mengisolasi anomali secara langsung daripada memodelkan seluruh distribusi normal, yang menjaganya tetap efisien.
  • Satu parameter kontaminasi menyatakan tingkat anomali yang diharapkan dan menetapkan ambang batas penandaan.

Penerapan

  • Deteksi pencilan dan anomali tanpa pengawasan dalam data kontinu.
  • Penyaringan kumpulan data berdimensi tinggi di mana tidak ada anomali berlabel.
  • Menandai observasi yang tidak biasa dalam data cross-sectional atau time-series sebelum pemodelan.
  • Pemeriksaan kualitas data dan deteksi eksploratif catatan yang tidak teratur.

Cara kerjanya

Cara kerjanya

1

Isolation Forest membalikkan logika deteksi pencilan yang biasa. Alih-alih membangun profil titik normal dan menandai apa pun yang menyimpang darinya, metode ini secara langsung memanfaatkan fakta bahwa anomali sedikit dan berbeda sehingga lebih cepat diisolasi. Karena tidak memerlukan anomali berlabel, metode ini sepenuhnya tanpa pengawasan, dan dapat diskalakan dengan baik ke data berdimensi tinggi.

2

Metode ini membangun banyak pohon partisi acak. Di setiap pohon, data secara rekursif dibagi dengan memilih fitur secara acak dan nilai pemotongan acak, membagi ruang menjadi wilayah yang semakin kecil hingga setiap titik berada sendirian. Mengisolasi titik normal — yang terkubur di wilayah yang ramai — memerlukan banyak partisi semacam itu, sementara anomali yang berada di luar terpisah setelah hanya beberapa pemotongan.

3

Panjang jalur setiap titik — jumlah pemotongan yang diperlukan untuk mengisolasinya — dirata-ratakan di seluruh hutan dan diubah menjadi skor anomali: jalur pendek berarti kemungkinan anomali, jalur panjang berarti kemungkinan titik normal. Parameter kontaminasi, proporsi anomali yang diharapkan, menetapkan ambang batas yang menentukan titik mana yang akhirnya ditandai sebagai pencilan.

Rumus
s(x) = 2^{-\frac{E(h(x))}{c(n)}}

Kesalahan umum

  • Menjalankannya pada kurang dari sekitar 50 observasi dan mempercayai anomali yang ditandai.
  • Menetapkan parameter kontaminasi tanpa anomali aktual yang cukup dalam data untuk mendukungnya.
  • Memperlakukan skor anomali sebagai probabilitas pasti daripada peringkat relatif.
  • Mengabaikan penskalaan fitur dan pengaruh fitur yang tidak relevan pada pemotongan acak.

Pertanyaan yang sering diajukan

Apakah saya memerlukan anomali berlabel untuk menggunakan Isolation Forest?

Tidak. Ini adalah metode tanpa pengawasan yang mengisolasi anomali melalui partisi acak, sehingga tidak memerlukan data anomali berlabel untuk beroperasi.

Apa fungsi parameter kontaminasi?

Parameter ini menyatakan proporsi anomali yang diharapkan dalam data dan menetapkan ambang batas yang menentukan titik mana yang akhirnya ditandai sebagai pencilan. Tanpa anomali asli yang cukup dalam data, parameter ini menjadi tidak berarti.

Mengapa metode ini bermasalah pada sampel kecil?

Dengan kurang dari sekitar 50 observasi, batas antara titik normal dan anomali tidak jelas dan tingkat positif palsu tinggi. Dalam kasus tersebut, metode pencilan statistik atau PCA adalah alternatif yang lebih aman.

Bagaimana anomali dinilai?

Panjang jalur rata-rata setiap titik di seluruh pohon acak — berapa banyak pemotongan yang diperlukan untuk mengisolasinya — diubah menjadi skor anomali. Jalur rata-rata yang pendek menunjukkan kemungkinan anomali; jalur yang panjang menunjukkan kemungkinan titik normal.

Metode terkait

Sumber

  1. Liu, F.T., Ting, K.M. & Zhou, Z.-H. (2008). Isolation Forest. IEEE ICDM, 413–422.

    Buka referensi DOI
    Disalin.