Autoenkoder
- Diperkenalkan oleh
- Hinton, G.E. & Salakhutdinov, R.R.
- Tahun
- 2006
- Jenis
- Neural network (encoder-decoder)
Teks ini adalah terjemahan mesin dan belum ditinjau. Baca versi asli dalam bahasa Inggris
Apa fungsinya?
Autoenkoder adalah jaringan saraf encoder-decoder, dipopulerkan oleh Hinton dan Salakhutdinov pada tahun 2006, yang mengompresi data ke dalam kode laten berdimensi rendah dan kemudian merekonstruksinya, memungkinkan reduksi dimensi dan deteksi anomali.
Dengan belajar membangun kembali inputnya sendiri melalui hambatan (bottleneck) yang sempit, ia menemukan representasi data yang ringkas.
Intuisi di balik metode
Bayangkan diminta meringkas dokumen panjang dalam satu kalimat dan kemudian menulis ulang seluruh dokumen hanya dari kalimat itu. Untuk melakukan ini dengan baik, Anda harus menyimpan hanya apa yang paling penting. Autoenkoder mempelajari disiplin ini: ia memeras setiap observasi melalui hambatan sempit dan mencoba membangun kembali yang asli dari kode yang diperas. Apa pun yang bertahan dari pemerasan adalah esensi data, dan input yang tidak dapat direkonstruksi dengan baik oleh jaringan menonjol sebagai anomali.
Sejarah
Ide autoenkoder untuk mempelajari kode ringkas dengan merekonstruksi input dipopulerkan oleh Geoffrey Hinton dan Ruslan Salakhutdinov dalam makalah Science mereka tahun 2006, yang menunjukkan bahwa jaringan saraf dalam dapat mengurangi dimensi data lebih efektif daripada teknik linier klasik. Karya ini membantu menetapkan jaringan saraf sebagai alat praktis untuk pembelajaran representasi.
Kapan digunakan
Gunakan autoenkoder untuk reduksi dimensi nonlinier atau deteksi anomali pada data bernilai kontinu ketika Anda memiliki sampel yang cukup besar — sekitar 200 observasi atau lebih. Ia tidak memerlukan data yang terdistribusi normal, tetapi membutuhkan data yang cukup untuk mempelajari ruang laten yang bermakna, dan pemilihan ukuran lapisan tersembunyi sangat penting. Dengan sampel kecil (di bawah sekitar 200) PCA adalah pilihan yang lebih aman, dan di bawah sekitar 50 reduksi dimensi jaringan saraf gagal total.
Batasan dan pertimbangan
- Membutuhkan sampel yang cukup besar — sekitar 200 observasi atau lebih — untuk mempelajari ruang laten yang bermakna.
- Pemilihan ukuran lapisan tersembunyi (laten) sangat penting dan sangat memengaruhi hasil.
- Pada dataset kecil, ia tidak dapat mempelajari ruang laten dan PCA yang lebih sederhana lebih disukai.
- Di bawah sekitar 50 observasi, reduksi dimensi berbasis jaringan saraf gagal total.
Syarat dari sumber tidak menggantikan tinjauan ilmiah independen atau validasi oleh mesin analisis.
Kelebihan
- Menangkap struktur nonlinier yang terlewatkan oleh metode linier seperti PCA.
- Melayani reduksi dimensi dan deteksi anomali dari representasi yang sama yang dipelajari.
- Asumsi ringan: tidak memerlukan data yang terdistribusi normal.
- Kode laten menyediakan representasi data kontinu yang kompleks dan ringkas yang dipelajari.
Penerapan
- Reduksi dimensi nonlinier dari data kontinu berdimensi tinggi.
- Deteksi anomali dengan menandai observasi dengan kesalahan rekonstruksi yang besar.
- Mempelajari representasi laten ringkas sebagai fitur untuk tugas hilir.
- Analisis eksploratif data kompleks di mana reduksi linier tidak mencukupi.
Cara kerjanya
Cara kerjanya
Encoder memetakan input melalui satu atau lebih lapisan tersembunyi ke kode laten berdimensi rendah. Ukuran lapisan tersembunyi (hambatan) ini adalah pilihan desain yang kritis: terlalu lebar dan jaringan hanya menyalin input, terlalu sempit dan ia kehilangan struktur yang bermakna.
Rumus
z = f(Wx + b)
Decoder mengambil kode laten dan mengembangkannya kembali melalui lapisan tersembunyi menuju dimensi asli, menghasilkan rekonstruksi input. Encoder dan decoder dilatih bersama sebagai satu jaringan.
Rumus
\hat{x} = g(W'z + b')Pelatihan meminimalkan kesalahan rekonstruksi — perbedaan antara input dan versi yang dibangun kembali. Setelah dilatih, kode laten berfungsi sebagai representasi terkompresi untuk reduksi dimensi, sementara kesalahan rekonstruksi yang besar menandai observasi yang tidak sesuai dengan pola yang dipelajari, mendukung deteksi anomali.
Rumus
\min \; \lVert x - \hat{x} \rVert^2Kesalahan umum
- Menerapkannya pada sampel kecil di mana PCA akan memadai dan lebih andal.
- Menetapkan hambatan terlalu lebar, sehingga jaringan menyalin input alih-alih mengompresinya.
- Menetapkan hambatan terlalu sempit, membuang struktur yang bermakna.
- Menggunakannya pada tipe data yang tidak cocok alih-alih fitur bernilai kontinu.
Pertanyaan yang sering diajukan
Bagaimana autoenkoder berbeda dari PCA?
PCA menemukan proyeksi linier terbaik dari data, sementara autoenkoder dapat mempelajari representasi nonlinier melalui lapisan tersembunyinya. Untuk sampel kecil atau ketika ringkasan linier sudah cukup, PCA lebih sederhana dan lebih andal; autoenkoder memberikan keuntungan ketika data memiliki struktur nonlinier dan sampelnya cukup besar.
Berapa banyak data yang saya butuhkan?
Sekitar 200 observasi atau lebih. Di bawah itu, jaringan tidak dapat mempelajari ruang laten yang bermakna dan PCA adalah pilihan yang lebih aman; di bawah sekitar 50 observasi, reduksi dimensi jaringan saraf gagal total.
Bagaimana cara mendeteksi anomali dengannya?
Setelah pelatihan, lewatkan observasi melalui jaringan dan ukur kesalahan rekonstruksinya. Titik-titik yang buruk direkonstruksi oleh model — yang dengan kesalahan besar — tidak sesuai dengan pola yang dipelajari dan ditandai sebagai anomali.
Apa pengaturan yang paling penting untuk diperbaiki?
Ukuran lapisan tersembunyi (hambatan). Terlalu lebar dan jaringan hanya menyalin input tanpa mempelajari kompresi yang berguna; terlalu sempit dan ia membuang struktur yang bermakna.
Metode terkait
Sumber
Hinton, G.E. & Salakhutdinov, R.R. (2006). Reducing the Dimensionality of Data with Neural Networks. Science, 313(5786), 504–507.
Buka referensi DOIDisalin.