Deteksi Anomali Autoencoder Pembelajaran Aktif
- Diperkenalkan oleh
- Multiple (Guo et al.; Pimentel et al.)
- Tahun
- 2014–2018
- Jenis
- Active learning + unsupervised deep anomaly detection hybrid
- Keluarga
- Machine learning
Teks ini adalah terjemahan mesin dan belum ditinjau. Baca versi asli dalam bahasa Inggris
Apa fungsinya?
Deteksi Anomali Autoencoder Pembelajaran Aktif menggabungkan skor kesalahan rekonstruksi tanpa pengawasan dari autoencoder dengan putaran kueri pembelajaran aktif.
Model menandai instans dengan kesalahan tinggi sebagai kandidat anomali, secara selektif meminta oracle manusia untuk memberi label pada yang paling informatif, dan melatih ulang secara iteratif — mencapai deteksi anomali yang kuat dengan anggaran pelabelan yang kecil.
Intuisi di balik metode
Autoencoder biasa belajar merekonstruksi data normal dan menandai kesalahan rekonstruksi yang tinggi sebagai anomali, tetapi tidak memiliki umpan balik apakah penandaan tersebut benar. Pembelajaran aktif menambahkan langkah kueri cerdas: setelah menilai semua sampel yang tidak berlabel, sistem memilih kandidat yang paling tidak pasti atau dengan kesalahan tertinggi dan meminta pakar untuk memberi label hanya pada sampel tersebut. Setiap instans yang diberi label segera meningkatkan pemahaman model tentang apa yang dianggap sebagai anomali sejati versus pencilan yang berisik, sehingga batas deteksi menjadi lebih tajam dengan upaya anotasi minimal.
Sejarah
Deteksi anomali berbasis autoencoder muncul dari literatur deteksi kebaruan pada tahun 2010-an, ditinjau secara komprehensif oleh Pimentel et al. (2014). Integrasi dengan pembelajaran aktif didorong oleh kendala pelabelan praktis di domain seperti intrusi jaringan dan pemantauan medis. Pada akhir 2010-an, makalah dari Guo, Görnitz, dan lainnya memformalkan strategi kueri yang disesuaikan dengan lanskap kesalahan rekonstruksi, menetapkan hibrida sebagai pendekatan yang diakui dalam literatur deteksi anomali mendalam.
Kapan digunakan
Gunakan metode ini ketika Anda memiliki kumpulan data yang tidak berlabel dalam jumlah besar dengan anomali langka, pelabelan mahal atau memerlukan penilaian ahli, dan Anda hanya mampu menganggarkan anotasi yang kecil. Sangat cocok untuk deteksi kesalahan industri, penyaringan anomali medis, deteksi penipuan, dan deteksi intrusi di mana anomali bersifat langka dan heterogen. Hindari jika Anda memiliki data berlabel yang cukup — metode pengawasan akan mengunggulinya — atau ketika oracle tidak tersedia atau tidak dapat diandalkan. Ini juga tidak sesuai ketika konsep anomali bergeser begitu cepat sehingga pelatihan ulang iteratif tidak dapat mengimbanginya.
Batasan dan pertimbangan
- Putaran kueri memperkenalkan latensi manusia-dalam-lingkaran; oracle harus tersedia sepanjang pelatihan.
- Kinerja bergantung pada kualitas strategi kueri — fungsi perolehan yang buruk dapat membuang anggaran pelabelan pada sampel yang redundan.
- Autoencoder dapat gagal mendeteksi anomali yang secara kebetulan direkonstruksi dengan baik (misalnya, pencilan adversarial atau dalam distribusi).
- Pelatihan ulang iteratif jaringan mendalam bisa mahal secara komputasi, terutama untuk model besar atau data streaming.
Syarat dari sumber tidak menggantikan tinjauan ilmiah independen atau validasi oleh mesin analisis.
Kelebihan
- Mencapai kinerja deteksi yang kuat dengan anggaran berlabel yang kecil, membuat anotasi ahli hemat biaya.
- Tahap autoencoder sama sekali tidak memerlukan label untuk pelatihan awal, memungkinkan permulaan dingin yang berguna sebelum kueri apa pun.
- Kueri aktif memusatkan upaya anotasi pada kasus batas yang paling informatif, meningkatkan kalibrasi ambang batas anomali.
- Arsitektur fleksibel: tulang punggung autoencoder dapat diganti dengan varian konvolusional, rekuren, atau variasi untuk menyesuaikan dengan modalitas data yang berbeda.
- Menggabungkan kekuatan representasi pembelajaran mendalam dengan efisiensi label pembelajaran aktif.
Penerapan
- Deteksi kesalahan dan cacat industri di mana contoh kesalahan berlabel langka dan mahal untuk diperoleh.
- Penyaringan anomali pencitraan medis dengan anotasi radiolog iteratif.
- Deteksi intrusi jaringan dengan pelabelan lalu lintas mencurigakan oleh analis keamanan.
- Deteksi penipuan dalam transaksi keuangan di mana pola penipuan berkembang dan kasus penipuan berlabel langka.
- Pemeliharaan prediktif untuk data sensor deret waktu dengan sedikit peristiwa kegagalan yang diberi label oleh insinyur.
Cara kerjanya
Cara kerjanya
Autoencoder pertama-tama dilatih pada data yang tidak berlabel yang tersedia — idealnya sebagian besar sampel normal. Encoder mengompresi setiap masukan ke dalam representasi laten, dan decoder merekonstruksinya. Jaringan mempelajari manifold pola normal dengan meminimalkan kesalahan rekonstruksi di seluruh set pelatihan.
Setelah pelatihan, setiap instans yang tidak berlabel menerima skor anomali yang sama dengan kesalahan rekonstruksinya (kesalahan kuadrat rata-rata atau kesalahan absolut rata-rata). Instans yang tidak dapat direkonstruksi dengan baik oleh autoencoder menyimpang dari manifold normal yang dipelajari dan mendapatkan skor tertinggi.
Rumus
s_i = \|x_i - \hat{x}_i\|^2Fungsi perolehan pembelajaran aktif — seperti kesalahan rekonstruksi tertinggi, pengambilan sampel margin, atau ketidakpastian dari pengklasifikasi hilir — memilih instans yang tidak berlabel yang paling informatif dan menyajikannya kepada oracle manusia untuk diberi label. Hanya sejumlah kecil kueri yang dihabiskan per iterasi.
Instans yang baru diberi label dimasukkan ke dalam set pelatihan. Autoencoder (dan kepala pengawasan apa pun yang dilatih pada pasangan anomali/normal berlabel) dilatih ulang atau disesuaikan. Skor anomali dihitung ulang, dan putaran kueri-label-latih ulang diulang sampai anggaran anotasi habis.
Ambang batas keputusan pada kesalahan rekonstruksi dipilih — seringkali melalui validasi pada subset berlabel — dan semua instans di atasnya diklasifikasikan sebagai anomali. Umpan balik berlabel dari pembelajaran aktif membuat pilihan ambang batas ini lebih berprinsip daripada mengandalkan kuantil arbitrer.
Kesalahan umum
- Melatih autoencoder pada dataset yang sudah berisi banyak anomali mendistorsi garis dasar rekonstruksi dan menurunkan skor.
- Menggunakan kesalahan rekonstruksi saja sebagai fungsi kueri tanpa mempertimbangkan keragaman mengarah pada kueri yang redundan di wilayah normal yang padat.
- Mengabaikan ketidakseimbangan kelas saat menyempurnakan data berlabel; label anomali langka memerlukan pembobotan atau pengambilan sampel berlebih.
- Menetapkan ambang batas anomali pada data yang tidak berlabel tanpa menggunakan label yang disediakan oracle mengalahkan tujuan pembelajaran aktif.
- Menghentikan putaran kueri terlalu dini sebelum batas keputusan stabil, dan memperlakukan skor rekonstruksi awal sebagai skor akhir.
Pertanyaan yang sering diajukan
Berapa banyak kueri berlabel yang biasanya dibutuhkan?
Hasil bervariasi berdasarkan dataset dan kelangkaan anomali, tetapi studi umumnya menunjukkan peningkatan yang berarti dengan hanya 20–100 kueri berlabel. Kuncinya adalah strategi pembelajaran aktif memusatkan kueri ini pada sampel batas keputusan yang paling tidak pasti daripada sampel acak.
Strategi kueri apa yang harus saya gunakan?
Kesalahan rekonstruksi tertinggi adalah titik awal termudah dan seringkali kompetitif. Pilihan yang lebih canggih termasuk pengambilan sampel ketidakpastian dari pengklasifikasi biner hilir yang dilatih pada subset berlabel, atau strategi hibrida yang menyeimbangkan informativitas dengan keragaman untuk menghindari pengkuerian kluster yang redundan.
Apakah saya memerlukan autoencoder variasi (VAE) alih-alih autoencoder biasa?
Autoencoder standar berfungsi untuk sebagian besar tugas tabular dan sekuensial. VAE menyediakan ruang laten probabilistik yang dapat menghasilkan perkiraan ketidakpastian yang lebih baik untuk pemilihan kueri, menjadikannya lebih disukai untuk data gambar atau ketika skor ketidakpastian yang terkalibrasi penting.
Bagaimana cara mengevaluasi kinerja ketika sebagian besar data tidak berlabel?
Gunakan subset berlabel oracle sebagai set validasi yang ditahan untuk menghitung presisi, perolehan, dan AUC-ROC. Untuk kumpulan data yang tidak berlabel, laporkan distribusi kesalahan rekonstruksi sebelum dan sesudah iterasi pembelajaran aktif untuk memverifikasi bahwa model membaik.
Bisakah saya menggunakan ini dalam pengaturan streaming atau online?
Ya, tetapi putaran kueri harus diadaptasi ke rezim jendela geser atau mini-batch. Autoencoder harus diperbarui secara inkremental, dan manajemen anggaran harus memperhitungkan pergeseran konsep — anomali yang terlihat di awal mungkin berbeda dari yang muncul kemudian.
Metode terkait
Sumber
Pimentel, M. A. F., Clifton, D. A., Clifton, L., & Tarassenko, L. (2014). A review of novelty detection. Signal Processing, 99, 215–249.
Buka referensi DOIDisalin.Zhu, Y., Lukasiewicz, T. (2020). DPLAN: Discourse-level Plan-based Text Generation. Proceedings of the 28th International Conference on Computational Linguistics, 3464–3474. (See also: Guo et al. (2018). Deep Active Learning for Anomaly Detection. Neurocomputing, 290, 135–143.)
Buka referensi publikasiDisalin.