Deteksi Anomali Autoencoder
- Diperkenalkan oleh
- Hinton, G. E. & Salakhutdinov, R. R. (autoencoders); applied to anomaly detection through multiple authors in the 2010s
- Tahun
- 2006–2014
- Jenis
- Unsupervised deep learning (reconstruction-based)
- Keluarga
- Machine learning
Teks ini adalah terjemahan mesin dan belum ditinjau. Baca versi asli dalam bahasa Inggris
Apa fungsinya?
Deteksi anomali autoencoder melatih jaringan saraf untuk mengompresi lalu merekonstruksi data normal. Karena model hanya pernah mempelajari seperti apa tampilan normal, masukan anomali menghasilkan kesalahan rekonstruksi yang secara nyata lebih tinggi — dan kesalahan tersebut menjadi skor anomali.
Metode ini tidak memerlukan anomali berlabel dan secara alami dapat diskalakan ke data berdimensi tinggi seperti aliran sensor, gambar, dan catatan log.
Intuisi di balik metode
Autoencoder dipaksa untuk mendeskripsikan data dengan lebih sedikit angka daripada yang dimilikinya, lalu membangun kembali aslinya. Ketika dilatih secara eksklusif pada contoh normal, ia menjadi sangat baik dalam merekonstruksi pola normal dan buruk dalam merekonstruksi sesuatu yang tidak biasa. Kesalahan rekonstruksi oleh karena itu bertindak sebagai alarm alami: kesalahan rendah berarti masukan terlihat familier; kesalahan tinggi menandakan sesuatu yang belum pernah dilihat model sebelumnya dan oleh karena itu tidak dapat direproduksi dengan setia. Dengan menetapkan ambang batas pada kesalahan ini, Anda mengubah skor kontinu menjadi bendera anomali biner.
Sejarah
Autoencoder sebagai alat reduksi dimensi dipopulerkan oleh makalah Science Hinton dan Salakhutdinov tahun 2006 tentang deep belief networks. Penerapannya pada deteksi anomali tumbuh melalui tahun 2010-an seiring kematangan deep learning; Vincent et al. (2010) memperkenalkan denoising autoencoder, dan pada pertengahan 2010-an autoencoder menjadi baseline standar untuk deteksi anomali tanpa pengawasan di domain industri dan keamanan siber. Survei Chalapathy dan Chawla tahun 2019 mengkonsolidasikan praktik terbaik di bidang ini.
Kapan digunakan
Gunakan deteksi anomali autoencoder ketika contoh anomali berlabel langka atau tidak ada, ketika kelas normal terwakili dengan baik, dan ketika dimensi data terlalu tinggi untuk metode klasik seperti one-class SVM. Metode ini unggul pada deret waktu sensor, log lalu lintas jaringan, pencitraan medis, dan kontrol kualitas manufaktur. Hindari jika distribusi data normal sangat beragam atau multimodal (autoencoder mungkin tidak menemukan representasi yang ringkas), ketika Anda hanya memiliki kumpulan data yang sangat kecil (jaringan dalam membutuhkan data yang cukup untuk generalisasi), atau ketika ambang batas berbasis aturan yang sederhana dan dapat diinterpretasikan sudah cukup. Jangan menerapkannya ketika data anomali berlabel sebenarnya tersedia — pengklasifikasi yang diawasi atau semi-diawasi hampir selalu akan mengunggulinya dalam pengaturan tersebut.
Batasan dan pertimbangan
- Membutuhkan sampel data normal yang cukup besar dan representatif; sub-pola normal yang jarang mungkin direkonstruksi dengan buruk bahkan tanpa menjadi anomali.
- Pemilihan ambang batas bersifat heuristik dan sensitif: τ yang dipilih dengan buruk menyebabkan positif palsu yang berlebihan atau anomali yang terlewat.
- Interpretasi rendah — kesalahan rekonstruksi mengungkapkan bahwa anomali ada tetapi tidak fitur mana yang mendorongnya tanpa analisis tambahan (misalnya, dekomposisi kesalahan per fitur).
- Pelatihan jaringan dalam membutuhkan penyetelan arsitektur, laju pembelajaran, dan regularisasi; metode ini tidak siap pakai seperti isolation forest atau one-class SVM.
- Jika anomali mengkontaminasi kumpulan pelatihan, model sebagian mempelajari untuk merekonstruksinya, menurunkan sensitivitas deteksi.
Syarat dari sumber tidak menggantikan tinjauan ilmiah independen atau validasi oleh mesin analisis.
Kelebihan
- Tidak memerlukan contoh anomali berlabel — hanya data normal yang dibutuhkan untuk pelatihan.
- Secara alami dapat diskalakan ke masukan berdimensi tinggi seperti gambar, deret waktu, dan aliran multi-sensor.
- Menghasilkan skor anomali kontinu, memungkinkan peringatan berperingkat daripada bendera biner.
- Dapat menangkap pola normal non-linear yang kompleks yang tidak dapat direpresentasikan oleh metode linier seperti PCA.
- Arsitektur fleksibel: lapisan konvolusional untuk gambar, lapisan LSTM untuk urutan, lapisan feedforward untuk data tabular.
Penerapan
- Pemeliharaan prediktif industri: mendeteksi kerusakan mesin dari aliran sensor getaran dan suhu.
- Keamanan siber: mengidentifikasi lalu lintas jaringan anomali atau upaya intrusi dari log tingkat paket.
- Pencitraan medis: menandai daerah patologis dalam pemindaian MRI atau CT ketika data lesi yang dianotasi langka.
- Deteksi penipuan keuangan: mendeteksi pola transaksi yang tidak biasa dalam data kartu kredit atau perbankan.
- Kontrol kualitas manufaktur: mendeteksi produk cacat dari gambar kamera pada jalur perakitan.
- Operasi TI: mendeteksi metrik server atau aplikasi anomali dalam pipeline AIOps.
Cara kerjanya
Cara kerjanya
Jaringan autoencoder dilatih secara eksklusif pada data yang mewakili kondisi operasi normal. Tujuannya adalah untuk meminimalkan kerugian rekonstruksi (biasanya mean squared error) pada kumpulan pelatihan yang hanya berisi data normal, sehingga jaringan mempelajari representasi internal yang ringkas tentang seperti apa tampilan normal. Tidak diperlukan label anomali.
Pada inferensi, setiap masukan x dilewatkan melalui encoder yang mengompresinya menjadi vektor laten berdimensi rendah, lalu melalui decoder yang merekonstruksi masukan kembali ke ruang asli. Pasangan encoder-decoder diparameterisasi oleh bobot yang dipelajari dan menangkap geometri manifold data normal.
Rumus
\hat{x} = f_{\theta}(g_{\phi}(x))Kesalahan rekonstruksi e(x) — perbedaan kuadrat (atau absolut) antara masukan dan rekonstruksinya — dihitung untuk setiap observasi. Karena autoencoder hanya mempelajari manifold normal, masukan anomali berada jauh dari manifold tersebut, menghasilkan kesalahan tinggi.
Rumus
e(x) = \|x - \hat{x}\|^2Ambang batas keputusan τ dipilih, biasanya dari distribusi kesalahan rekonstruksi pada kumpulan validasi normal yang disisihkan (misalnya, persentil ke-95 atau ke-99). Ambang batas ini mengubah skor kesalahan kontinu menjadi batas keputusan biner. Pilihan τ menukar positif palsu dengan anomali yang terlewat.
Setiap observasi yang kesalahan rekonstruksinya melebihi τ ditandai sebagai anomali. Besarnya kelebihan juga dapat berfungsi sebagai skor kepercayaan, memungkinkan prioritisasi peringatan yang diberi peringkat daripada keputusan biner yang keras.
Rumus
\text{anomaly if } e(x) > \tauKesalahan umum
- Pelatihan pada kumpulan data yang mencakup anomali tanpa membersihkannya terlebih dahulu, sehingga model mempelajari untuk merekonstruksi pola yang seharusnya ditandai.
- Menetapkan ambang batas pada kumpulan pelatihan itu sendiri daripada kumpulan validasi yang disisihkan, menghasilkan ambang batas optimis yang gagal dalam penerapan.
- Membandingkan kesalahan rekonstruksi di berbagai skala fitur tanpa menormalkan masukan, membuat kesalahan didominasi oleh fitur varians tinggi.
- Menggunakan bottleneck yang terlalu besar, memungkinkan autoencoder mempelajari pemetaan mendekati identitas yang merekonstruksi semuanya — termasuk anomali — dengan setia.
- Hanya melaporkan metrik klasifikasi biner (akurasi) alih-alih presisi-recall dan AUROC, yang jauh lebih informatif untuk tugas deteksi anomali yang tidak seimbang.
Pertanyaan yang sering diajukan
Bagaimana cara memilih ukuran bottleneck?
Bottleneck harus cukup kecil untuk memaksa kompresi pola normal tetapi cukup besar agar tidak kehilangan struktur penting. Praktik umum adalah memulai dari sekitar 10-30% dari dimensi masukan dan menyetel dengan memeriksa kualitas rekonstruksi pada data normal yang disisihkan.
Bagaimana jika data normal saya memiliki banyak mode (misalnya, keadaan operasi mesin yang berbeda)?
Satu autoencoder mungkin tidak mempelajari semua mode secara merata, menghasilkan alarm palsu pada keadaan normal yang kurang terwakili. Pilihan termasuk melatih autoencoder terpisah per mode, menggunakan pendekatan campuran autoencoder, atau mengkondisikan pada label mode yang diketahui jika tersedia.
Bagaimana seharusnya saya mengatur ambang batas anomali?
Hitung kesalahan rekonstruksi pada kumpulan validasi data normal yang bersih dan disisihkan, lalu atur τ pada persentil tinggi (ke-95 atau ke-99, tergantung pada tingkat positif palsu yang dapat diterima). Jika ada beberapa anomali berlabel, setel τ untuk memaksimalkan F1 atau trade-off presisi-recall yang diinginkan.
Bagaimana perbandingannya dengan isolation forest atau one-class SVM?
Isolation forest dan one-class SVM umumnya lebih mudah disetel dan lebih dapat diinterpretasikan pada data tabular berdimensi rendah hingga menengah. Autoencoder menjadi menguntungkan ketika dimensi sangat tinggi, ketika struktur temporal atau spasial penting, atau ketika piksel mentah atau gelombang suara adalah masukannya.
Bisakah saya menggunakan variational autoencoder (VAE) sebagai gantinya?
Ya. VAE mempelajari ruang laten probabilistik dan memungkinkan penilaian anomali melalui probabilitas rekonstruksi daripada MSE mentah, yang sering kali meningkatkan kalibrasi. Mereka adalah perpanjangan alami ketika distribusi normal kompleks atau ketika Anda menginginkan estimasi ketidakpastian yang terkalibrasi dengan baik.
Metode terkait
Sumber
Chalapathy, R. & Chawla, S. (2019). Deep learning for anomaly detection: A survey. arXiv preprint arXiv:1901.03407.
Buka referensi publikasiDisalin.Hinton, G. E. & Salakhutdinov, R. R. (2006). Reducing the dimensionality of data with neural networks. Science, 313(5786), 504–507.
Buka referensi DOIDisalin.