Skip to content
Kembali ke hasil pencarian

Deteksi Anomali Semi-terawasi dengan Autoencoder

Diperkenalkan oleh
Ruff, L. et al.; Zong, B. et al.
Tahun
2018–2020
Jenis
Semi-supervised deep anomaly detection
Keluarga
Machine learning

Teks ini adalah terjemahan mesin dan belum ditinjau. Baca versi asli dalam bahasa Inggris

Ukuran huruf

Apa fungsinya?

Deteksi Anomali Semi-terawasi dengan Autoencoder melatih autoencoder saraf terutama pada data normal (tanpa label), kemudian menggunakan sejumlah kecil anomali berlabel untuk menyempurnakan batas keputusan, mendeteksi anomali sebagai sampel dengan kesalahan rekonstruksi yang tinggi.

Metode ini menjembatani kesenjangan antara autoencoder yang sepenuhnya tanpa pengawasan dan pengklasifikasi yang sepenuhnya terawasi ketika label langka tetapi ada beberapa anomali yang diketahui.

Intuisi di balik metode

Autoencoder standar belajar untuk mengompres dan merekonstruksi data normal dengan baik; anomali yang belum pernah dilihatnya direkonstruksi dengan buruk, sehingga kesalahan rekonstruksi menandainya. Autoencoder yang sepenuhnya tanpa pengawasan tidak memiliki jangkar untuk apa yang dianggap anomali — mereka hanya tahu apa yang normal. Varian semi-terawasi menggunakan sejumlah kecil anomali berlabel sebagai contoh negatif selama penyempurnaan, mendekatkan batas keputusan model ke anomali dunia nyata tanpa memerlukan pengawasan penuh. Hasilnya adalah detektor yang efisien data dan terkalibrasi lebih baik daripada salah satu ekstrem saja.

Sejarah

Deteksi anomali autoencoder tanpa pengawasan mendapatkan daya tarik setelah munculnya deep learning sekitar tahun 2014. Zong et al. (ICLR 2018) mengintegrasikan autoencoder dengan model campuran Gaussian untuk penilaian anomali tanpa pengawasan. Ruff et al. (ICLR 2020) memformalkan varian semi-terawasi, menunjukkan bahwa bahkan segelintir anomali berlabel secara substansial meningkatkan deteksi dibandingkan dengan baseline yang sepenuhnya tanpa pengawasan, menetapkan kerangka kerja yang banyak digunakan saat ini.

Kapan digunakan

Direkomendasikan ketika Anda memiliki data tanpa label yang melimpah yang sebagian besar normal, ditambah sejumlah kecil anomali terkonfirmasi yang andal, dan detektor anomali tanpa pengawasan siap pakai menghasilkan terlalu banyak positif palsu. Sangat efektif untuk data berdimensi tinggi atau non-linear seperti sinyal sensor, lalu lintas jaringan, atau gambar di mana metode tradisional (misalnya, one-class SVM) memiliki skala yang buruk. Jangan gunakan ketika anomali berlabel tidak tersedia sama sekali (lebih pilih autoencoder tanpa pengawasan) atau ketika Anda memiliki cukup label untuk pengklasifikasi terawasi penuh. Hindari dengan kumpulan data yang sangat kecil (kurang dari beberapa ratus sampel) di mana jaringan dalam tidak dapat digeneralisasi.

Batasan dan pertimbangan

  • Memerlukan partisi yang cermat: jika kumpulan data tanpa label berisi banyak anomali, pelatihan awal akan rusak dan kinerja menurun secara signifikan.
  • Autoencoder dalam intensif secara komputasi untuk dilatih dan disetel dibandingkan dengan metode dangkal.
  • Interpretasi terbatas; sinyal kesalahan rekonstruksi tidak menjelaskan fitur mana yang menyebabkan anomali.
  • Sensitif terhadap pilihan kedalaman arsitektur, dimensi laten, dan bobot kerugian antara tujuan tanpa pengawasan dan terawasi.
  • Pemilihan ambang batas tidak sepele dan harus divalidasi pada data berlabel yang ditahan untuk menghindari pemotongan sewenang-wenang.

Syarat dari sumber tidak menggantikan tinjauan ilmiah independen atau validasi oleh mesin analisis.

Kelebihan

  • Secara efektif memanfaatkan volume besar data normal tanpa label bersama dengan anomali berlabel yang langka, memaksimalkan efisiensi data.
  • Menangani ruang fitur berdimensi tinggi dan non-linear jauh lebih baik daripada metode berbasis kernel seperti one-class SVM.
  • Skor anomali (kesalahan rekonstruksi) bersifat kontinu, memungkinkan penyesuaian ambang batas yang terperinci untuk disesuaikan dengan persyaratan operasional.
  • Pelatihan awal pada data normal memberikan prioritas yang kuat, mengurangi jumlah anomali berlabel yang dibutuhkan dibandingkan dengan pendekatan yang sepenuhnya terawasi.
  • Arsitektur fleksibel dan dapat menggabungkan lapisan konvolusional, rekuren, atau transformer untuk gambar, deret waktu, atau teks.

Penerapan

  • Deteksi kesalahan dan cacat industri pada aliran sensor atau telemetri di mana peristiwa yang salah jarang terjadi tetapi terdokumentasi.
  • Intrusi jaringan dan deteksi anomali keamanan siber dengan tanda serangan yang diketahui sebagai benih berlabel.
  • Penyaringan pencitraan medis atau data klinis di mana kasus patologis yang terkonfirmasi langka.
  • Deteksi penipuan keuangan yang menggabungkan transaksi normal yang melimpah dengan sejumlah kecil transaksi penipuan yang terkonfirmasi.
  • Pipeline pemeliharaan prediktif di mana catatan kegagalan historis berfungsi sebagai contoh anomali berlabel.

Cara kerjanya

Cara kerjanya

1

Set pelatihan dibagi menjadi kumpulan besar data tanpa label (diasumsikan sebagian besar normal) dan kumpulan kecil anomali berlabel yang dikurasi. Partisi ini mencerminkan kelangkaan label anomali yang terkonfirmasi di dunia nyata sambil tetap memanfaatkan sinyal kebenaran dasar apa pun yang tersedia.

2

Jaringan encoder-decoder dilatih sebelumnya pada kumpulan data tanpa label untuk meminimalkan kerugian rekonstruksi, mempelajari representasi laten yang ringkas dari pola normal. Fase ini membangun gagasan dasar tentang seperti apa tampilan normal tanpa memerlukan label apa pun.

3

Pada fase kedua, anomali berlabel dimasukkan — baik dengan menambahkan kepala klasifikasi, dengan menggunakan kerugian kontrastif atau hipersfer (seperti pada ekstensi Deep SVDD), atau dengan menghukum kesalahan rekonstruksi yang rendah untuk anomali yang diketahui. Ini menarik batas keputusan menjauh dari titik abnormal yang terkonfirmasi.

4

Pada saat inferensi, setiap sampel dilewatkan melalui autoencoder yang terlatih. Skor anomali biasanya adalah kesalahan rekonstruksi (rata-rata kesalahan kuadrat antara input dan output). Secara opsional, jarak ruang laten dari pusat kelas normal juga digunakan.

Rumus
s(x) = \|x - \hat{x}\|^2
5

Ambang batas pada skor anomali dipilih — menggunakan anomali berlabel, kurva presisi-recall, atau tingkat positif palsu target — untuk menghasilkan label normal/anomali biner. Pilihan ambang batas secara langsung mengatur trade-off presisi-recall.

Kesalahan umum

  • Kontaminasi kumpulan data pra-pelatihan tanpa label dengan anomali yang tidak terdeteksi, yang merusak representasi data normal.
  • Memperlakukan kesalahan rekonstruksi sebagai probabilitas terkalibrasi tanpa kalibrasi ambang batas yang tepat terhadap contoh berlabel.
  • Menggunakan satu pemisahan latih/uji tanpa validasi silang, menghasilkan perkiraan kinerja yang terlalu optimis pada kelas anomali yang jarang.
  • Memilih dimensi laten tanpa eksperimen, baik terlalu kecil (kehilangan informasi) atau terlalu besar (autoencoder merekonstruksi anomali sebaik data normal).
  • Mengabaikan ketidakseimbangan kelas saat menghitung metrik evaluasi — akurasi tidak berarti dengan ketidakseimbangan ekstrem; gunakan AUROC dan presisi rata-rata sebagai gantinya.

Pertanyaan yang sering diajukan

Berapa banyak anomali berlabel yang dibutuhkan?

Metode ini dapat bekerja dengan hanya selusin anomali terkonfirmasi, tetapi kinerja meningkat secara substansial hingga beberapa ratus. Kuncinya adalah anomali berlabel harus mencakup jenis utama perilaku abnormal yang ada di domain.

Bagaimana jika kumpulan data tanpa label saya mengandung anomali tersembunyi?

Kontaminasi tanpa label adalah mode kegagalan terbesar. Terapkan filter tanpa pengawasan awal (misalnya, isolation forest) untuk menghilangkan outlier yang jelas dari kumpulan data pra-pelatihan sebelum penyempurnaan.

Bagaimana cara memilih ambang batas kesalahan rekonstruksi?

Gunakan kumpulan anomali berlabel Anda dan kurva presisi-recall untuk memilih ambang batas yang sesuai dengan toleransi operasional Anda terhadap positif palsu dan negatif palsu. Jangan pernah memilih ambang batas pada data yang sama yang digunakan untuk melatih model.

Apakah ini lebih baik daripada one-class SVM atau isolation forest?

Pada data berdimensi tinggi atau non-linear dengan setidaknya beberapa anomali berlabel, autoencoder semi-terawasi biasanya mengungguli one-class SVM dan isolation forest. Pada data tabular berdimensi rendah dengan sampel yang sangat kecil, metode yang lebih sederhana dapat menyamai atau melampaui kinerjanya dengan biaya lebih rendah.

Metrik evaluasi apa yang harus saya laporkan?

Laporkan AUROC dan presisi rata-rata (area di bawah kurva presisi-recall) pada set pengujian yang ditahan yang mempertahankan prevalensi anomali sebenarnya. Akurasi dan F1 pada ambang batas tetap harus menjadi metrik sekunder, dengan justifikasi ambang batas yang diberikan.

Metode terkait

Sumber

  1. Ruff, L., Vandermeulen, R. A., Franks, B. J., Müller, K.-R., & Kloft, M. (2020). Deep Semi-Supervised Anomaly Detection. In International Conference on Learning Representations (ICLR 2020).

    Buka referensi publikasi
    Disalin.
  2. Zong, B., Song, Q., Min, M. R., Cheng, W., Lumezanu, C., Cho, D., & Chen, H. (2018). Deep Autoencoding Gaussian Mixture Model for Unsupervised Anomaly Detection. In International Conference on Learning Representations (ICLR 2018).

    Buka referensi publikasi
    Disalin.