İçeriğe atla
Arama sonuçlarına dön

Skor Tabanlı Üretken Model

Ortaya koyan
Song, Y. & Ermon, S.
Yıl
2019
Tür
Score-based generative model (SDE framework)

Bu metin makine çevirisidir ve henüz incelenmedi. Asıl metni İngilizce oku

Yazı boyutu

Ne işe yarar?

Yang Song ve Stefano Ermon tarafından 2019'da tanıtılan ve 2021'de stokastik diferansiyel denklem (SDE) çerçevesine genelleştirilen bir skor tabanlı üretken model, gürültüyü doğrudan tahmin etmek yerine veri yoğunluğunun gradyanını — skoru — öğrenir ve yeni örnekler üretmek için bunu kullanır.

Sürekli zaman formülasyonu altında difüzyon modellerini birleştiren matematiksel genellemedir.

Yöntemin mantığı

Model, verinin nasıl göründüğünü ezberlemek yerine, herhangi bir noktayı gerçek verinin yoğun olduğu bölgelere doğru itecek yönü öğrenir. Bu yön skordur: log-yoğunluğun gradyanı. Herhangi bir yerden daha yüksek yoğunluğa doğru işaret edebildiğinizde, saf gürültüden başlayıp bu yönleri adım adım izleyerek gerçekçi bir örneğe ulaşabilirsiniz.

Tarih

Skor tabanlı üretken modelleme, 2019'da Song ve Ermon tarafından veri dağılımının gradyanlarını tahmin ederek üretken modelleme olarak tanıtıldı. 2021'de Song ve arkadaşları bu fikri bir stokastik diferansiyel denklem çerçevesine oturttular ve sürekli gürültü seviyelerinde skor eşleştirmenin difüzyon modellerini genelleştirdiğini ve birkaç önceki üretken formülasyonu tek bir sürekli zaman görünümü altında birleştirdiğini gösterdiler.

Ne zaman kullanılır?

Büyük bir eğitim seti (yaklaşık 1000 gözlem veya daha fazla) veya önceden eğitilmiş bir model mevcut olduğunda ve GPU/TPU kaynakları kullanılabildiğinde, sürekli verilerin yüksek kaliteli üretimi ve yoğunluk tahmini için uygundur. Normalite varsayımı yapmaz, ancak örnekleyici seçilen SDE'ye uygun olmalıdır. Yaklaşık 1000 gözlemin altında varyasyonel bir otomatik kodlayıcı daha güvenli bir seçenektir ve 500'ün altında PCA gibi daha basit bir yöntem tercih edilir.

Sınırlar ve dikkat edilmesi gerekenler

  • Yoğunluk gradyanını güvenilir bir şekilde tahmin etmek için büyük bir veri kümesi (yaklaşık 1000+ gözlem) veya önceden eğitilmiş bir model gerektirir.
  • Eğitim ve örnekleme için GPU/TPU donanımı gerektirir.
  • Örnekleyici, SDE türüyle eşleşecek şekilde seçilmelidir, bu da yapılandırma yükünü artırır.
  • Küçük örneklerde skor tahmini zayıftır ve üretim anlamsız hale gelir.

Kaynak metnin koşulları, bağımsız bilimsel inceleme veya analiz motoru doğrulaması yerine geçmez.

Güçlü yönleri

  • Doğrudan veri-yoğunluk gradyanını öğrenir, difüzyon modellerinin ilkeli bir matematiksel genellemesini sunar.
  • Sürekli zamanlı SDE çerçevesi, birden çok difüzyon formülasyonunu tek bir amaç altında birleştirir.
  • Veri üzerinde normalite varsayımı yapmaz.
  • Sürekli verilerin yüksek kaliteli örneklerini üretir ve yoğunluk tahminini destekler.

Uygulama alanları

  • Görüntüler gibi sürekli verilerin yüksek kaliteli üretimi.
  • Yoğunluk tahmini ve karmaşık veri dağılımlarının modellenmesi.
  • Ayrık difüzyon formülasyonlarını kapsayan sürekli zamanlı üretken modelleme.
  • Büyük veri veya önceden eğitilmiş modellerin mevcut olduğu tahmin ve açıklayıcı üretken görevler.

Nasıl çalışır?

Nasıl çalışır?

1

Bir sinir ağı, veri dağılımının skorunu — log-yoğunluğun girdiye göre gradyanını — tahmin etmek üzere eğitilir. Eklenen gürültüyü tahmin etmek yerine, yaklaşımı difüzyon modellerinin matematiksel bir genellemesi yapan, verinin yoğunlaştığı yerlere işaret eden yönler alanını öğrenir.

Formül
s_\theta(x) \approx \nabla_x \log p(x)
2

İleriye doğru bir stokastik diferansiyel denklem, sürekli zaman içinde veriyi aşamalı olarak gürültüye bozar; sürüklenme terimi ve Gauss gürültüsü ekleyen bir difüzyon terimi ile. Bu, ağın tüm gürültü seviyelerinde öğrendiği, giderek daha gürültülü hale gelen dağılımların pürüzsüz bir ailesini tanımlar.

Formül
dx = f(x,t)\,dt + g(t)\,dw
3

Üretim, öğrenilen skoru kullanarak örnekleri gürültüden veri dağılımına doğru yönlendiren karşılık gelen ters zamanlı SDE'yi çözerek süreci tersine çevirir. SDE türünün seçimi, hangi örnekleyicinin uygun olduğunu belirler ve entegrasyon GPU veya TPU donanımında çalıştırılır.

Formül
dx = [f(x,t) - g(t)^2 \nabla_x \log p_t(x)]\,dt + g(t)\,d\bar{w}

Sık yapılan hatalar

  • Yaklaşık 1000 gözlem eşiğinin altında, skorun doğru bir şekilde tahmin edilemediği durumlarda uygulanması.
  • Seçilen SDE formülasyonuyla eşleşmeyen bir örnekleyici kullanmak.
  • GPU/TPU kaynakları olmadan eğitim yapmaya çalışmak.
  • Yaklaşık 500 gözlemin altına düşmek, burada SDE tabanlı üretim anlamsızdır ve daha basit bir model kullanılmalıdır.

Sık sorulan sorular

Modelin öğrendiği skor nedir?

Skor, girdiyle ilgili log olasılık yoğunluğunun gradyanıdır. Her noktada ve gürültü seviyesinde bilmek, modelin örnekleri gerçek verinin yoğunlaştığı yerlere doğru itmesini sağlar.

Bu, difüzyon modelleriyle nasıl ilişkilidir?

Difüzyon modellerinin matematiksel genellemesidir: ileriye doğru bozulma ve tersine üretim süreçlerini sürekli zamanlı stokastik diferansiyel denklemler olarak formüle ederek, skor tabanlı modelleme difüzyon yaklaşımlarını tek bir çerçeve altında birleştirir.

Ne kadar veriye ihtiyacım var?

Yaklaşık 1000 gözlem veya daha fazlası veya önceden eğitilmiş bir model. 1000'in altında varyasyonel bir otomatik kodlayıcı daha güvenlidir ve 500'ün altında SDE tabanlı üretim anlamsızdır ve PCA gibi daha basit bir yöntem tercih edilir.

Ne tür donanım gerektirir?

Hem eğitim hem de örnekleme için GPU veya TPU kaynakları gereklidir ve örnekleyici, kullanılan SDE türüyle eşleşecek şekilde seçilmelidir.

İlgili yöntemler

Kaynaklar

  1. Song, Y. & Ermon, S. (2019). Generative Modeling by Estimating Gradients of the Data Distribution. NeurIPS 32, 11895–11907.

    Yayın kaynağını aç
    Kopyalandı.
  2. Song, Y. et al. (2021). Score-Based Generative Modeling through Stochastic Differential Equations. ICLR.

    Yayın kaynağını aç
    Kopyalandı.