Skip to content
Kembali ke hasil pencarian

Variational Autoencoder

Diperkenalkan oleh
Kingma, D. P. & Welling, M.
Tahun
2014
Jenis
Deep generative latent-variable model (encoder–decoder)

Teks ini adalah terjemahan mesin dan belum ditinjau. Baca versi asli dalam bahasa Inggris

Ukuran huruf

Apa fungsinya?

Variational Autoencoder (VAE) adalah model variabel laten generatif mendalam, yang diperkenalkan oleh Diederik Kingma dan Max Welling pada tahun 2014, yang mengodekan data sebagai distribusi probabilitas dalam ruang laten dan mengambil sampel dari distribusi tersebut untuk menghasilkan contoh baru.

Model ini digunakan untuk generasi data, deteksi anomali, dan pembelajaran fitur.

Intuisi di balik metode

Autoencoder biasa memampatkan setiap masukan menjadi satu titik dalam ruang terkompresi, yang baik untuk rekonstruksi tetapi tidak menyediakan cara yang terprinsip untuk membuat data baru. Sebaliknya, VAE memetakan setiap masukan ke awan probabilitas kecil — sebuah rata-rata dan sebaran — dan memaksa awan tersebut untuk tetap dekat dengan distribusi referensi yang sederhana. Karena ruang laten kemudian mulus dan kontinu, Anda dapat menarik titik baru darinya dan dekoder mengubahnya menjadi contoh yang benar-benar baru dan masuk akal.

Sejarah

Variational Autoencoder diperkenalkan oleh Diederik Kingma dan Max Welling pada tahun 2014 dalam makalah 'Auto-Encoding Variational Bayes', yang menggabungkan inferensi variasional dengan enkoder dan dekoder jaringan saraf serta memperkenalkan trik parametrisasi ulang yang membuat model dapat dilatih secara ujung ke ujung. Pada tahun 2017, Higgins dan rekan-rekannya mengusulkan beta-VAE, yang menimbang ulang suku KL dengan koefisien untuk mendorong faktor laten yang lebih terurai (disentangled). VAE menjadi salah satu model generatif mendalam yang fundamental, bersama dengan GAN dan, yang lebih baru, model difusi.

Kapan digunakan

Sangat cocok ketika Anda memiliki setidaknya sekitar 200 observasi bernilai kontinu dan ingin mempelajari representasi laten yang mulus untuk menghasilkan data baru, mendeteksi anomali, atau mengompresi masukan berdimensi tinggi, dan GPU tersedia untuk pelatihan. Model ini mengasumsikan variabel laten kontinu dan dilatih dengan mengoptimalkan bersama kerugian rekonstruksi dan divergensi KL. Di bawah sekitar 200 sampel, distribusi laten tidak dapat dipelajari secara bermakna dan metode yang lebih sederhana seperti PCA lebih disukai; di bawah sekitar 50 sampel, model ini gagal sama sekali.

Batasan dan pertimbangan

  • Membutuhkan sampel yang cukup besar (sekitar 200+) dan biasanya GPU untuk melatih secara efektif.
  • Sampel dapat terlihat buram dibandingkan dengan generator berbasis adversarial atau difusi.
  • Pada kumpulan data kecil, distribusi laten tidak dipelajari secara bermakna, sehingga PCA adalah pilihan yang lebih aman.
  • Menyeimbangkan suku rekonstruksi dan KL itu rumit; suku KL dapat runtuh dan diabaikan.

Syarat dari sumber tidak menggantikan tinjauan ilmiah independen atau validasi oleh mesin analisis.

Kelebihan

  • Mempelajari ruang laten yang mulus dan kontinu yang dapat diambil sampelnya untuk menghasilkan contoh baru yang otentik.
  • Menyediakan kerangka kerja probabilistik yang terprinsip, mengoptimalkan satu tujuan (batas bawah bukti).
  • Berguna di luar generasi — untuk deteksi anomali, pembelajaran fitur, dan reduksi dimensi nonlinier.
  • Tidak memerlukan masukan yang terdistribusi normal dan bekerja dengan data kontinu berdimensi tinggi.
  • Trik parametrisasi ulang membuat seluruh model dapat dilatih secara ujung ke ujung dengan penurunan gradien.

Penerapan

  • Menghasilkan sampel data sintetis baru dari ruang laten yang dipelajari.
  • Deteksi anomali dan pencilan (outlier) dengan menandai masukan yang direkonstruksi buruk oleh model.
  • Reduksi dimensi nonlinier dan pembelajaran fitur pada data berdimensi tinggi.
  • Pembelajaran representasi sebagai langkah awal untuk prediksi atau pengelompokan hilir.

Cara kerjanya

Cara kerjanya

1

Jaringan enkoder membaca setiap masukan dan menghasilkan parameter distribusi atas variabel laten — sebuah rata-rata dan varians — daripada satu kode tetap. Ini adalah langkah pengkodean probabilistik yang merepresentasikan setiap observasi sebagai wilayah ruang laten alih-alih satu titik.

Rumus
q_\phi(z \mid x) = \mathcal{N}(z; \mu_\phi(x), \sigma_\phi^2(x))
2

Vektor laten ditarik dari distribusi yang dikodekan menggunakan trik parametrisasi ulang: alih-alih mengambil sampel secara langsung, model menulis sampel sebagai rata-rata ditambah simpangan baku dikalikan derau Gaussian standar. Karena keacakan didorong ke dalam suku derau eksternal, gradien masih dapat mengalir melalui jaringan dan model dapat dilatih secara ujung ke ujung.

Rumus
z = \mu + \sigma \odot \epsilon, \quad \epsilon \sim \mathcal{N}(0, I)
3

Jaringan dekoder memetakan vektor laten yang diambil sampelnya kembali ke ruang data, dan pelatihan mengoptimalkan batas bawah bukti (evidence lower bound): suku rekonstruksi yang memberi penghargaan pada pembangunan kembali masukan secara setia, dikurangi suku Kullback–Leibler yang menarik setiap distribusi yang dikodekan menuju prior. Keseimbangan antara kedua kekuatan ini yang menghasilkan ruang laten yang baik dalam merekonstruksi dan mendukung pembuatan sampel baru.

Rumus
\mathcal{L} = \mathbb{E}_{q_\phi}[\log p_\theta(x \mid z)] - D_{KL}(q_\phi(z \mid x) \,\|\, p(z))

Kesalahan umum

  • Melatih pada observasi yang terlalu sedikit (di bawah sekitar 200) dan mengharapkan model generatif yang bermakna.
  • Mengabaikan keruntuhan posterior (posterior collapse), di mana suku KL mendorong kode laten menjadi tidak informatif.
  • Menilai model hanya berdasarkan ketajaman rekonstruksi daripada kualitas sampel yang dihasilkan.
  • Melewatkan trik parametrisasi ulang dan merusak aliran gradien melalui langkah pengambilan sampel.
  • Menggunakan VAE ketika reduksi dimensi linier sederhana seperti PCA sudah cukup.

Pertanyaan yang sering diajukan

Bagaimana VAE berbeda dari autoencoder biasa?

Autoencoder biasa memetakan setiap masukan ke satu kode laten yang hanya dioptimalkan untuk rekonstruksi. VAE mengodekan setiap masukan sebagai distribusi probabilitas dan menambahkan suku KL yang menjaga distribusi tersebut dekat dengan prior, yang menghasilkan ruang laten mulus yang dapat Anda ambil sampelnya untuk menghasilkan data baru.

Apa itu trik parametrisasi ulang?

Trik ini menulis ulang sampel laten sebagai rata-rata yang dikodekan ditambah simpangan baku dikalikan derau Gaussian standar. Dengan memindahkan keacakan ke suku derau eksternal, gradien dapat melewati langkah pengambilan sampel sehingga enkoder dan dekoder dapat dilatih bersama melalui propagasi balik.

Berapa banyak data dan perangkat keras apa yang saya butuhkan?

Disarankan setidaknya sekitar 200 observasi kontinu, dan GPU disarankan untuk pelatihan. Di bawah 200, distribusi laten tidak dipelajari secara bermakna dan PCA lebih disukai; di bawah sekitar 50, VAE gagal sama sekali.

Apa itu beta-VAE?

beta-VAE, yang diusulkan oleh Higgins dan rekan-rekannya pada tahun 2017, mengalikan suku KL dengan koefisien (beta). Beta yang lebih besar menekan dimensi laten untuk menangkap faktor variasi yang lebih independen dan terurai, dengan beberapa pengorbanan pada fidelitas rekonstruksi.

Metode terkait

Sumber

  1. Kingma, D. P. & Welling, M. (2014). Auto-Encoding Variational Bayes. International Conference on Learning Representations (ICLR).

    Buka referensi publikasi
    Disalin.
  2. Higgins, I. et al. (2017). beta-VAE: Learning Basic Visual Concepts with a Constrained Variational Framework. International Conference on Learning Representations (ICLR).

    Buka referensi publikasi
    Disalin.