Varyasyonel Otomatik Kodlayıcı
- Ortaya koyan
- Kingma, D. P. & Welling, M.
- Yıl
- 2014
- Tür
- Deep generative latent-variable model (encoder–decoder)
Bu metin makine çevirisidir ve henüz incelenmedi. Asıl metni İngilizce oku
Ne işe yarar?
Varyasyonel Otomatik Kodlayıcı (VAE), veriyi gizli bir uzayda olasılık dağılımı olarak kodlayan ve yeni örnekler üretmek için bu dağılımdan örneklem alan, Diederik Kingma ve Max Welling tarafından 2014 yılında tanıtılan derin üretken gizli değişkenli bir modeldir.
Veri üretimi, anomali tespiti ve özellik öğrenimi için kullanılır.
Yöntemin mantığı
Sıradan bir otomatik kodlayıcı, her girdiyi sıkıştırılmış bir uzayda tek bir noktaya sıkıştırır; bu, yeniden yapılandırma için iyidir ancak yeni veri oluşturmak için prensipli bir yol bırakmaz. Bir VAE ise her girdiyi küçük bir olasılık bulutuna — bir ortalama ve bir yayılım — eşler ve bu bulutları basit bir referans dağılımına yakın tutmaya zorlar. Gizli uzay daha sonra pürüzsüz ve sürekli olduğundan, oradan taze bir nokta çekebilir ve kod çözücü onu yepyeni, makul bir örneğe dönüştürür.
Tarih
Varyasyonel Otomatik Kodlayıcı, 2014 yılında Diederik Kingma ve Max Welling tarafından 'Auto-Encoding Variational Bayes' adlı çalışmada tanıtıldı; bu çalışma, varyasyonel çıkarımı sinir ağlı kodlayıcılar ve kod çözücülerle birleştirdi ve modelin uçtan uca eğitilebilir olmasını sağlayan yeniden parametrelendirme hilesini tanıttı. 2017'de Higgins ve arkadaşları, daha ayrışmış gizli faktörleri teşvik etmek için KL terimini bir katsayı ile yeniden ağırlıklandıran beta-VAE'yi önerdiler. VAE, GAN'lar ve daha yakın zamanda difüzyon modelleriyle birlikte temel derin üretken modellerden biri haline geldi.
Ne zaman kullanılır?
En az yaklaşık 200 sürekli değerli gözleminiz olduğunda ve yeni veri üretmek, anormallikleri tespit etmek veya yüksek boyutlu girdileri sıkıştırmak için pürüzsüz bir gizli temsil öğrenmek istediğinizde ve eğitim için bir GPU mevcut olduğunda iyi bir uyum sağlar. Model, sürekli bir gizli değişken varsayar ve yeniden yapılandırma kaybı ile KL sapmasının ortak optimizasyonu ile eğitilir. Yaklaşık 200 örneğin altında, gizli dağılım anlamlı bir şekilde öğrenilemez ve PCA gibi daha basit bir yöntem tercih edilir; yaklaşık 50'nin altında tamamen başarısız olur.
Sınırlar ve dikkat edilmesi gerekenler
- Etkili bir şekilde eğitmek için makul derecede büyük bir örneğe (yaklaşık 200+) ve tipik olarak bir GPU'ya ihtiyaç duyar.
- Örnekler, düşmanca veya difüzyon tabanlı üreticilere kıyasla bulanık görünebilir.
- Küçük veri kümelerinde gizli dağılım anlamlı bir şekilde öğrenilmez, bu nedenle PCA daha güvenli bir seçimdir.
- Yeniden yapılandırma ve KL terimlerini dengelemek hassastır; KL terimi çökebilir ve göz ardı edilebilir.
Kaynak metnin koşulları, bağımsız bilimsel inceleme veya analiz motoru doğrulaması yerine geçmez.
Güçlü yönleri
- Gerçekten yeni örnekler üretmek için örneklenmiş pürüzsüz, sürekli bir gizli uzay öğrenir.
- Prensip sahibi bir olasılıksal çerçeve sunar, tek bir hedefi (kanıt alt sınırı) optimize eder.
- Üretim ötesinde kullanışlıdır — anomali tespiti, özellik öğrenimi ve doğrusal olmayan boyut azaltma için.
- Normal dağılımlı girdiler gerektirmez ve yüksek boyutlu sürekli verilerle çalışır.
- Yeniden parametrelendirme hilesi, tüm modelin gradyan inişi ile uçtan uca eğitilebilir olmasını sağlar.
Uygulama alanları
- Öğrenilmiş bir gizli uzaydan yeni sentetik veri örnekleri üretmek.
- Modelin kötü yeniden yapılandırdığı girdileri işaretleyerek anomali ve aykırı değer tespiti.
- Yüksek boyutlu veriler üzerinde doğrusal olmayan boyut azaltma ve özellik öğrenimi.
- Aşağı akış tahmin veya kümeleme için bir ön adım olarak temsil öğrenimi.
Nasıl çalışır?
Nasıl çalışır?
Bir kodlayıcı ağı her girdiyi okur ve tek bir sabit kod yerine, gizli değişken üzerindeki bir dağılımın parametrelerini — bir ortalama ve bir varyans — çıktı olarak verir. Bu, her gözlemi tek bir nokta yerine gizli uzayın bir bölgesi olarak temsil eden olasılıksal kodlama adımıdır.
Formül
q_\phi(z \mid x) = \mathcal{N}(z; \mu_\phi(x), \sigma_\phi^2(x))Gizli bir vektör, yeniden parametrelendirme hilesi kullanılarak kodlanmış dağılımdan çekilir: doğrudan örneklemek yerine, model örneği ortalama artı standart sapma çarpı standart Gauss gürültüsü olarak yazar. Rastgelelik harici bir gürültü terimine itildiği için, gradyanlar ağ üzerinden akabilir ve model uçtan uca eğitilebilir.
Formül
z = \mu + \sigma \odot \epsilon, \quad \epsilon \sim \mathcal{N}(0, I)Bir kod çözücü ağı, örneklenmiş gizli vektörü veri uzayına geri eşler ve eğitim, kanıt alt sınırını optimize eder: girdiyi sadakatle yeniden oluşturmayı ödüllendiren bir yeniden yapılandırma terimi eksi, her kodlanmış dağılımı önsele doğru çeken bir Kullback–Leibler terimi. Bu iki kuvveti dengelemek, hem iyi yeniden yapılandırma yapan hem de yeni örnekler üretmeyi destekleyen bir gizli uzay üreten şeydir.
Formül
\mathcal{L} = \mathbb{E}_{q_\phi}[\log p_\theta(x \mid z)] - D_{KL}(q_\phi(z \mid x) \,\|\, p(z))Sık yapılan hatalar
- Anlamlı bir üretken model bekleyerek çok az gözlem (yaklaşık 200'ün altında) üzerinde eğitim yapmak.
- Gizli kodun bilgisiz hale gelmesine neden olan KL teriminin posterior çökmesini göz ardı etmek.
- Modeli yalnızca yeniden yapılandırma keskinliği üzerinden değil, üretilen örneklerin kalitesi üzerinden yargılamak.
- Yeniden parametrelendirme hilesini atlamak ve örnekleme adımı boyunca gradyan akışını kesmek.
- Basit doğrusal boyut azaltma olan PCA'nın yeterli olacağı durumlarda VAE'ye yönelmek.
Sık sorulan sorular
Bir VAE, düz bir otomatik kodlayıcıdan nasıl farklıdır?
Düz bir otomatik kodlayıcı, her girdiyi yalnızca yeniden yapılandırma için optimize edilmiş tek bir gizli koda eşler. Bir VAE, her girdiyi bir olasılık dağılımı olarak kodlar ve bu dağılımı bir önsele yakın tutan bir KL terimi ekler; bu da yeni veri üretmek için örnekleyebileceğiniz pürüzsüz bir gizli uzay sağlar.
Yeniden parametrelendirme hilesi nedir?
Gizli bir örneği, kodlanmış ortalama artı standart sapma çarpı standart Gauss gürültüsü olarak yeniden yazar. Rastgeleliği harici bir gürültü terimine taşıyarak, gradyanlar örnekleme adımından geçebilir, böylece kodlayıcı ve kod çözücü geri yayılım yoluyla birlikte eğitilebilir.
Ne kadar veriye ve ne tür donanıma ihtiyacım var?
En az yaklaşık 200 sürekli gözlem önerilir ve eğitim için bir GPU tavsiye edilir. 200'ün altında gizli dağılım anlamlı bir şekilde öğrenilmez ve PCA tercih edilir; yaklaşık 50'nin altında VAE tamamen başarısız olur.
beta-VAE nedir?
2017'de Higgins ve arkadaşları tarafından önerilen beta-VAE, KL terimini bir katsayı (beta) ile çarpar. Daha büyük bir beta, yeniden yapılandırma doğruluğu pahasına, gizli boyutları daha bağımsız, ayrışmış varyasyon faktörlerini yakalamaya zorlar.
İlgili yöntemler
Kaynaklar
Kingma, D. P. & Welling, M. (2014). Auto-Encoding Variational Bayes. International Conference on Learning Representations (ICLR).
Yayın kaynağını açKopyalandı.Higgins, I. et al. (2017). beta-VAE: Learning Basic Visual Concepts with a Constrained Variational Framework. International Conference on Learning Representations (ICLR).
Yayın kaynağını açKopyalandı.