Otomatik kodlayıcı
- Ortaya koyan
- Hinton, G.E. & Salakhutdinov, R.R.
- Yıl
- 2006
- Tür
- Neural network (encoder-decoder)
Bu metin makine çevirisidir ve henüz incelenmedi. Asıl metni İngilizce oku
Ne işe yarar?
Otomatik kodlayıcı (autoencoder), Hinton ve Salakhutdinov tarafından 2006'da popülerleştirilen, veriyi düşük boyutlu gizli bir koda sıkıştırıp ardından yeniden yapılandıran, böylece boyut indirgeme ve aykırı değer tespiti sağlayan bir kodlayıcı-kod çözücü yapay sinir ağıdır.
Kendi girdisini dar bir darboğaz aracılığıyla yeniden oluşturmayı öğrenerek, verinin kompakt bir temsilini keşfeder.
Yöntemin mantığı
Uzun bir belgeyi tek bir cümlede özetleyip ardından tam belgeyi yalnızca bu cümleden yeniden yazmanız istendiğini hayal edin. Bunu iyi yapmak için yalnızca en önemli şeyleri saklamalısınız. Bir otomatik kodlayıcı tam olarak bu disiplini öğrenir: her gözlemi dar bir darboğazdan geçirir ve sıkıştırılmış koddan orijinalini yeniden oluşturmaya çalışır. Sıkışmadan kurtulan her şey verinin özüdür ve ağın iyi yeniden yapılandıramadığı girdiler aykırı değerler olarak öne çıkar.
Tarih
Girdiyi yeniden yapılandırarak kompakt bir kod öğrenme fikri, Geoffrey Hinton ve Ruslan Salakhutdinov tarafından 2006 tarihli Science makalelerinde öne çıkarıldı; bu makalede derin yapay sinir ağlarının verinin boyutunu klasik doğrusal tekniklerden daha etkili bir şekilde azaltabileceği gösterildi. Bu çalışma, yapay sinir ağlarının temsil öğrenimi için pratik bir araç olarak yerleşmesine yardımcı oldu.
Ne zaman kullanılır?
Makul derecede büyük bir örneğiniz olduğunda — yaklaşık 200 veya daha fazla gözlem — sürekli değerli veriler üzerinde doğrusal olmayan boyut indirgeme veya aykırı değer tespiti için bir otomatik kodlayıcı kullanın. Normal dağılımlı veri gerektirmez, ancak anlamlı bir gizli uzay öğrenmek için yeterli veriye ihtiyaç duyar ve gizli katmanın boyutunu seçmek kritiktir. Küçük örneklerde (yaklaşık 200'ün altında) Temel Bileşen Analizi (PCA) daha güvenli bir seçimdir ve yaklaşık 50'nin altında yapay sinir ağı boyut indirgeme tamamen başarısız olur.
Sınırlar ve dikkat edilmesi gerekenler
- Anlamlı bir gizli uzay öğrenmek için makul derecede büyük bir örneğe ihtiyaç duyar — yaklaşık 200 veya daha fazla gözlem.
- Gizli (gizli) katmanın boyutunu seçmek kritiktir ve sonuçları güçlü bir şekilde etkiler.
- Küçük veri kümelerinde gizli uzayı öğrenemez ve daha basit PCA tercih edilir.
- Yaklaşık 50 gözlemin altında yapay sinir ağı tabanlı boyut indirgeme tamamen başarısız olur.
Kaynak metnin koşulları, bağımsız bilimsel inceleme veya analiz motoru doğrulaması yerine geçmez.
Güçlü yönleri
- PCA gibi doğrusal yöntemlerin kaçırdığı doğrusal olmayan yapıyı yakalar.
- Aynı öğrenilmiş temsilden hem boyut indirgeme hem de aykırı değer tespiti sağlar.
- Varsayım-hafif: normal dağılımlı veri gerektirmez.
- Gizli kod, karmaşık sürekli verilerin kompakt, öğrenilmiş bir temsilini sağlar.
Uygulama alanları
- Yüksek boyutlu sürekli verilerin doğrusal olmayan boyut indirgemesi.
- Büyük yeniden yapılandırma hatasına sahip gözlemleri işaretleyerek aykırı değer tespiti.
- Aşağı akış görevleri için özellikler olarak kompakt gizli temsiller öğrenme.
- Doğrusal indirgemenin yetersiz olduğu karmaşık verilerin keşifsel analizi.
Nasıl çalışır?
Nasıl çalışır?
Kodlayıcı, girdiyi bir veya daha fazla gizli katman aracılığıyla düşük boyutlu gizli bir koda doğru haritalar. Bu gizli (darboğaz) katmanın boyutu kritik tasarım seçimidir: çok genişse ağ yalnızca girdiyi kopyalar, çok dar ise anlamlı yapıyı kaybeder.
Formül
z = f(Wx + b)
Kod çözücü, gizli kodu alır ve gizli katmanlar aracılığıyla orijinal boyutluluğa doğru genişleterek girdinin bir yeniden yapılandırmasını üretir. Kodlayıcı ve kod çözücü tek bir ağ olarak birlikte eğitilir.
Formül
\hat{x} = g(W'z + b')Eğitim, yeniden yapılandırma hatasını — girdi ile yeniden yapılandırılmış versiyonu arasındaki farkı — en aza indirir. Eğitildikten sonra, gizli kod boyut indirgeme için sıkıştırılmış bir temsil görevi görürken, büyük yeniden yapılandırma hataları öğrenilen örüntülere uymayan gözlemleri işaretleyerek aykırı değer tespitini destekler.
Formül
\min \; \lVert x - \hat{x} \rVert^2Sık yapılan hatalar
- PCA'nın hem yeterli hem de daha güvenilir olacağı küçük örneklere uygulamak.
- Ağın girdiyi sıkıştırmak yerine kopyalaması için darboğazı çok geniş ayarlamak.
- Anlamlı yapıyı atarak darboğazı çok dar ayarlamak.
- Sürekli değerli özellikler yerine uygun olmadığı veri türlerinde kullanmak.
Sık sorulan sorular
Otomatik kodlayıcı PCA'dan nasıl farklıdır?
PCA verinin en iyi doğrusal projeksiyonunu bulurken, otomatik kodlayıcı gizli katmanları aracılığıyla doğrusal olmayan temsiller öğrenebilir. Küçük örnekler için veya doğrusal bir özet yeterli olduğunda, PCA daha basit ve daha güvenilirdir; otomatik kodlayıcılar, veri doğrusal olmayan yapıya sahip olduğunda ve örnek yeterince büyük olduğunda fayda sağlar.
Ne kadar veriye ihtiyacım var?
Yaklaşık 200 gözlem veya daha fazla. Bunun altında, ağ anlamlı bir gizli uzay öğrenemez ve PCA daha güvenli bir seçimdir; yaklaşık 50 gözlemin altında yapay sinir ağı boyut indirgemesi tamamen başarısız olur.
Onu kullanarak aykırı değerleri nasıl tespit ederim?
Eğitimden sonra, gözlemleri ağdan geçirin ve yeniden yapılandırma hatalarını ölçün. Modelin kötü yeniden yapılandırdığı noktalar — büyük hataya sahip olanlar — öğrenilen örüntülere uymuyor ve aykırı değerler olarak işaretleniyor.
Doğru ayarlanması gereken en önemli ayar nedir?
Gizli (darboğaz) katmanın boyutu. Çok genişse ağ faydalı bir sıkıştırma öğrenmeden girdiyi kopyalar; çok dar ise anlamlı yapıyı atar.
İlgili yöntemler
Kaynaklar
Hinton, G.E. & Salakhutdinov, R.R. (2006). Reducing the Dimensionality of Data with Neural Networks. Science, 313(5786), 504–507.
DOI kaynağını açKopyalandı.