Deteksi Anomali Menggunakan Autoencoder Bayesian
- Diperkenalkan oleh
- Kingma, D. P. & Welling, M.; applied to anomaly detection by An & Cho
- Tahun
- 2014–2015
- Jenis
- Probabilistic generative model for unsupervised anomaly detection
- Keluarga
- Machine learning
Teks ini adalah terjemahan mesin dan belum ditinjau. Baca versi asli dalam bahasa Inggris
Apa fungsinya?
Deteksi Anomali Menggunakan Autoencoder Bayesian memanfaatkan Variational Autoencoder — sebuah model generatif probabilistik yang dilatih pada data normal — untuk menandai anomali berdasarkan kesalahan rekonstruksi yang tinggi atau kemungkinan (likelihood) yang rendah di bawah distribusi yang dipelajari.
Dengan memperlakukan ruang laten sebagai distribusi probabilitas daripada titik tetap, model ini memberikan estimasi ketidakpastian yang berprinsip bersama dengan setiap skor anomali, menjadikannya sangat berharga dalam tugas deteksi berisiko tinggi.
Intuisi di balik metode
Autoencoder standar belajar untuk mengompres dan merekonstruksi data pelatihannya; objek yang berbeda dari set pelatihan direkonstruksi dengan buruk dan karenanya dinilai sebagai anomali. Versi Bayesian, yang biasanya diimplementasikan sebagai Variational Autoencoder, melangkah lebih jauh: alih-alih mengodekan setiap masukan ke satu titik di ruang laten, ia mengodekannya ke distribusi probabilitas. Ini berarti model tidak hanya mengetahui apa yang kemungkinan normal tetapi juga seberapa yakin ia dalam penilaian tersebut. Skor anomali dihitung sebagai probabilitas rekonstruksi yang dirata-ratakan atas posterior laten, sehingga skor tersebut membawa ketidakpastian inheren daripada menjadi estimasi titik yang rapuh.
Sejarah
Variational Autoencoder diperkenalkan oleh Kingma dan Welling pada tahun 2014 sebagai kerangka kerja berprinsip untuk pemodelan generatif mendalam, menggabungkan fleksibilitas jaringan saraf dengan inferensi variabel laten Bayesian melalui trik reparameterisasi. Aplikasinya pada deteksi anomali diformalkan oleh An dan Cho pada tahun 2015, yang menunjukkan bahwa probabilitas rekonstruksi — daripada error rekonstruksi — memberikan skor anomali yang lebih andal. Sejak itu, autoencoder Bayesian telah menjadi alat standar dalam penelitian deteksi anomali tanpa pengawasan, dengan ekstensi ke deret waktu, data graf, dan pengaturan terfederasi.
Kapan digunakan
Gunakan Deteksi Anomali Menggunakan Autoencoder Bayesian ketika Anda memiliki data normal tanpa label yang cukup tetapi sedikit atau tidak ada label anomali yang terkonfirmasi, ruang masukan berdimensi tinggi (misalnya, gambar, larik sensor, deret waktu multi-saluran, atau data tabular lebar), dan Anda memerlukan estimasi ketidakpastian bersama dengan skor anomali untuk pengambilan keputusan hilir (misalnya, pencitraan medis, deteksi penipuan, kontrol kualitas industri). Metode ini mengungguli metode yang lebih sederhana seperti Isolation Forest atau One-Class SVM ketika manifold data normal kompleks dan non-linear. Jangan gunakan ketika dataset Anda kecil (kurang dari beberapa ratus sampel), masukan Anda berdimensi rendah dengan struktur linier (metode statistik klasik lebih sederhana dan lebih dapat diinterpretasikan), Anda memerlukan throughput waktu nyata yang ketat tanpa akselerasi GPU, atau ketika kelas anomali eksplisit tersedia dan klasifikasi terawasi layak dilakukan.
Batasan dan pertimbangan
- Membutuhkan data pelatihan yang substansial dari contoh normal; data kelas normal yang langka atau heterogen menurunkan kinerja.
- Pelatihan membutuhkan biaya komputasi yang besar — akselerasi GPU biasanya diperlukan untuk ukuran masukan yang tidak sepele.
- Pilihan hyperparameter (dimensi laten, kedalaman arsitektur, pembobotan beta dari suku KL) sangat memengaruhi hasil dan memerlukan penyetelan yang cermat.
- Keruntuhan posterior (posterior collapse) — patologi VAE umum di mana encoder mengabaikan masukan — dapat secara diam-diam menurunkan skor anomali.
- Menginterpretasikan mengapa sampel tertentu ditandai sebagai anomali tetap sulit tanpa analisis pasca-hoc tambahan.
Syarat dari sumber tidak menggantikan tinjauan ilmiah independen atau validasi oleh mesin analisis.
Kelebihan
- Memberikan estimasi ketidakpastian yang terkalibrasi untuk setiap skor anomali, mendukung pengambilan keputusan yang sadar risiko.
- Menangani distribusi data berdimensi tinggi dan non-linear yang mengalahkan metode linier atau kernel.
- Sepenuhnya tanpa pengawasan: tidak ada label anomali yang diperlukan untuk pelatihan.
- Ruang laten yang dipelajari dapat divisualisasikan dan diinterpretasikan untuk memahami pola apa yang dianggap normal oleh model.
- Arsitektur yang fleksibel memungkinkan penggabungan prior spesifik domain dan ruang laten terstruktur.
- Probabilitas rekonstruksi lebih berprinsip daripada error kuadrat rata-rata mentah, mengurangi sensitivitas terhadap penskalaan arbitrer.
Penerapan
- Deteksi cacat industri dalam manufaktur menggunakan data inspeksi visual.
- Deteksi anomali pencitraan medis (misalnya, mendeteksi lesi dalam pemindaian MRI yang dilatih hanya pada subjek sehat).
- Deteksi intrusi jaringan di mana pola lalu lintas normal melimpah tetapi serangan jarang dan beragam.
- Deteksi penipuan keuangan ketika kasus penipuan berlabel tidak tersedia atau cepat usang.
- Pemeliharaan prediktif melalui deteksi anomali larik sensor pada mesin industri.
- Kontrol kualitas data ilmiah, menandai observasi yang tidak biasa dalam dataset eksperimental.
Cara kerjanya
Cara kerjanya
Jaringan saraf encoder memetakan setiap masukan x ke parameter (rata-rata dan varians) dari posterior Gaussian atas variabel laten z, menangkap ketidakpastian model tentang representasi terkompresi daripada berkomitmen pada satu kode.
Rumus
q_{\phi}(z|x) = \mathcal{N}(\mu_{\phi}(x),\,\sigma^{2}_{\phi}(x))Kode laten ditarik menggunakan trik reparameterisasi — menambahkan noise yang diskalakan ke rata-rata posterior — membuat langkah pengambilan sampel dapat didiferensiasi sehingga seluruh jaringan dapat dilatih dengan backpropagation.
Rumus
z = \mu_{\phi}(x) + \epsilon\,\sigma_{\phi}(x),\quad \epsilon \sim \mathcal{N}(0,I)Jaringan decoder memetakan kode laten yang diambil kembali ke distribusi rekonstruksi di atas ruang masukan, mempelajari proses generatif data normal.
Rumus
p_{\theta}(x|z)Pelatihan memaksimalkan Evidence Lower BOund (ELBO): ekspektasi log-kemungkinan rekonstruksi dikurangi divergensi KL yang menjaga posterior tetap dekat dengan prior Gaussian standar. Hanya data normal (dalam distribusi) yang digunakan selama pelatihan.
Rumus
\mathcal{L} = \mathbb{E}_{q}[\log p_{\theta}(x|z)] - D_{\mathrm{KL}}(q_{\phi}(z|x)\|p(z))Pada inferensi, skor anomali dihitung sebagai negatif ekspektasi log-kemungkinan masukan di bawah decoder, dirata-ratakan atas beberapa sampel posterior. Skor tinggi menunjukkan masukan yang tidak dapat direkonstruksi dengan baik oleh model di bawah distribusi data normal yang dipelajarinya.
Rumus
s(x) = -\mathbb{E}_{z \sim q_{\phi}(z|x)}[\log p_{\theta}(x|z)]Kesalahan umum
- Pelatihan pada dataset yang terkontaminasi yang mencakup anomali dalam kelas 'normal', menyebabkan model mempelajari pola anomali sebagai normal.
- Memilih ambang batas skor anomali secara sewenang-wenang daripada menggunakan set validasi yang ditahan dari contoh normal yang diketahui.
- Mengabaikan keruntuhan posterior selama pelatihan, yang dapat membuat error rekonstruksi secara seragam tidak informatif.
- Membandingkan error rekonstruksi mentah antar dataset dengan skala masukan yang berbeda tanpa normalisasi.
- Evaluasi hanya dengan akurasi pada set pengujian yang sangat tidak seimbang alih-alih menggunakan AUROC atau rata-rata presisi.
Pertanyaan yang sering diajukan
Bagaimana ini berbeda dari autoencoder standar (deterministik) untuk deteksi anomali?
Autoencoder standar memetakan masukan ke kode laten tetap dan menilai anomali berdasarkan error rekonstruksi. Autoencoder Bayesian (variasional) memetakan masukan ke distribusi laten dan menilai anomali berdasarkan probabilitas rekonstruksi yang dirata-ratakan atas sampel posterior. Formulasi probabilistik memberikan skor yang lebih andal dan ketidakpastian eksplisit, dengan biaya kompleksitas pelatihan yang lebih besar.
Dimensi laten berapa yang harus saya pilih?
Dimensi laten harus cukup besar untuk menangkap struktur data normal tetapi cukup kecil untuk mencegah model menghafal sampel individual. Mulailah dengan dimensi sekitar 5–20% dari dimensi masukan dan sesuaikan melalui kualitas rekonstruksi pada set normal yang ditahan.
Apakah saya memerlukan perangkat keras GPU untuk menjalankan metode ini?
Untuk data tabular dengan lebar sedang (kurang dari beberapa ratus fitur) CPU dapat digunakan, tetapi pelatihan akan lambat. Untuk data gambar atau sensor berdimensi tinggi, GPU sangat direkomendasikan. Inferensi (penilaian) biasanya jauh lebih cepat daripada pelatihan.
Bagaimana cara mengatur ambang batas anomali?
Ambang batas tidak dipelajari selama pelatihan. Gunakan set sampel normal yang terkonfirmasi yang ditahan dan pilih persentil skor (misalnya, persentil ke-95 atau ke-99) yang memberikan tingkat positif palsu yang dapat diterima di domain Anda. Hindari memilih ambang batas pada data yang sama yang digunakan untuk mengevaluasi kinerja akhir.
Bisakah metode ini bekerja ketika beberapa anomali muncul di set pelatihan?
Kontaminasi minor (beberapa persen) sering kali ditoleransi karena model dioptimalkan pada kelas mayoritas. Namun, kontaminasi berat menggeser apa yang dipelajari model sebagai 'normal' dan harus diminimalkan dengan membersihkan data pelatihan sebersih mungkin.
Metode terkait
Sumber
Kingma, D. P. & Welling, M. (2014). Auto-Encoding Variational Bayes. Proceedings of the 2nd International Conference on Learning Representations (ICLR 2014).
Buka referensi publikasiDisalin.An, J. & Cho, S. (2015). Variational Autoencoder based Anomaly Detection using Reconstruction Probability. ICDM Workshop on Data Mining in Networks.
Buka referensi publikasiDisalin.