İçeriğe atla
Arama sonuçlarına dön

Difüzyon Modeli

Ortaya koyan
Ho, J., Jain, A. & Abbeel, P.
Yıl
2020
Tür
Generative deep learning (denoising diffusion)

Bu metin makine çevirisidir ve henüz incelenmedi. Asıl metni İngilizce oku

Yazı boyutu

Ne işe yarar?

Bir difüzyon modeli, Ho, Jain ve Abbeel tarafından 2020'de (DDPM) tanıtılan, adım adım bir gürültü ekleme sürecini tersine çevirerek yüksek kaliteli görüntüler, ses ve moleküler yapılar üretmeyi öğrenen üretken bir derin öğrenme yöntemidir.

Üretken modellemede mevcut en gelişmiş yöntem olarak GAN'ların büyük ölçüde yerini almıştır.

Yöntemin mantığı

Bir fotoğrafı, her seferinde az miktarda rastgele gürültü ekleyerek saf statik hale gelene kadar yavaşça bulanıklaştırdığınızı hayal edin. Bir difüzyon modeli bunun tersi yolculuğu öğrenir: rastgele gürültüden başlayarak, her adımda az miktarda gürültüyü kaldırır ve temiz, gerçekçi bir örnek ortaya çıkana kadar devam eder. Çünkü her seferinde yalnızca küçük bir gürültü adımını geri alması gerekir, bu görev tek seferde tüm bir görüntüyü üretmekten çok daha kararlı bir şekilde öğrenilir.

Tarih

Gürültü Giderici Difüzyon Olasılıksal Modelleri, 2020'de Ho, Jain ve Abbeel tarafından, önceki difüzyon fikirleri üzerine inşa edilerek ve GAN'larla rekabetçi görüntü kalitesi gösterilerek tanıtıldı. 2022'de Rombach ve arkadaşları, difüzyon sürecini sıkıştırılmış bir gizli alanda çalıştıran Gizli Difüzyon Modellerini tanıttılar; bu, yüksek çözünürlüklü sentezi pratik hale getirdi ve Stable Diffusion gibi sistemlerin temelini oluşturdu. Difüzyon modelleri o zamandan beri üretken yaklaşım haline geldi ve GAN'ların büyük ölçüde yerini aldı.

Ne zaman kullanılır?

Yüksek kaliteli görüntüler, ses veya moleküler yapılar üretmeniz gerektiğinde ve büyük bir veri kümeniz (yaklaşık 1000 örnek veya daha fazla) veya önceden eğitilmiş bir modele erişiminiz olduğunda bir difüzyon modeli kullanın. Önemli miktarda veri veya ön eğitim varsayar ve GPU/TPU donanımı gerektirir; örnekleme birçok gürültü giderme adımında tekrarlı olarak çalıştığı için çıkarım yavaş olabilir. Yaklaşık 1000'den az örnekle model gürültü giderme sürecini iyi öğrenemez ve değişken otomatik kodlayıcı gibi daha basit bir üretici daha güvenlidir.

Sınırlar ve dikkat edilmesi gerekenler

  • Büyük bir veri kümesi veya önceden eğitilmiş bir model gerektirir — az veri kötü üretim kalitesine yol açar.
  • Eğitim ve pratik kullanım için GPU/TPU donanımı gereklidir.
  • Örnekleme birçok gürültü giderme adımında tekrarlı olarak çalıştığı için çıkarım yavaştır.
  • Yaklaşık 1000'den az örnekte gürültü giderme süreci güvenilir bir şekilde öğrenilemez.

Kaynak metnin koşulları, bağımsız bilimsel inceleme veya analiz motoru doğrulaması yerine geçmez.

Güçlü yönleri

  • Görüntüler, ses ve moleküller genelinde GAN'lardan daha yüksek kaliteli ve daha çeşitli örnekler üretir.
  • Eğitim kararlıdır, GAN'ları rahatsız eden mod çökmesi ve düşmanca istikrarsızlıktan kaçınır.
  • Gizli difüzyon varyantları, yüksek çözünürlüklü üretimi hesaplama açısından gerçekleştirilebilir kılar.
  • Metinden-görüntüye istemleri gibi koşullu üretimi doğal olarak destekler.

Uygulama alanları

  • Yüksek çözünürlüklü görüntü sentezi ve metinden-görüntüye üretim.
  • Ses ve konuşma üretimi.
  • Kimya ve doğa bilimlerinde moleküler ve malzeme yapısı üretimi.
  • Veri artırma ve önceden eğitilmiş omurgalardan koşullu üretim.

Nasıl çalışır?

Nasıl çalışır?

1

Sabit bir ileri süreç, her eğitim örneğini birçok adım boyunca az miktarda Gauss gürültüsü ekleyerek bozar, ta ki veri saf gürültüye dönüşene kadar. Bu süreç öğrenme gerektirmez — yalnızca modelin daha sonra tersine çevireceği temiz veriden gürültüye giden yörüngeyi tanımlar.

Formül
q(x_t \mid x_{t-1}) = \mathcal{N}(x_t; \sqrt{1-\beta_t}\,x_{t-1}, \beta_t I)
2

Bir sinir ağı (tipik olarak bir U-Net), belirli bir adımdaki eklenen gürültüyü tahmin etmek üzere eğitilir. Birçok zaman adımı ve örnek boyunca gerçek ve tahmin edilen gürültü arasındaki karesel hatayı en aza indirerek, ağ gürültülü bir girdiyi temiz veriye bir adım daha yaklaştırmayı öğrenir.

Formül
\mathcal{L} = \mathbb{E}_{t, x_0, \epsilon}\big[\,\lVert \epsilon - \epsilon_\theta(x_t, t) \rVert^2\,\big]
3

Yeni bir örnek üretmek için model rastgele gürültüden başlar ve öğrenilmiş gürültü giderme adımını tekrarlı olarak uygular, tahmin edilen gürültüyü çıkarır ve temiz bir çıktı görünene kadar küçük bir stokastik terim ekler. Gizli difüzyon varyantları (Stable Diffusion), yüksek çözünürlüklü üretimi gerçekleştirilebilir kılmak için bu döngüyü sıkıştırılmış bir gizli alanda çalıştırır.

Formül
x_{t-1} = \frac{1}{\sqrt{\alpha_t}}\Big(x_t - \frac{\beta_t}{\sqrt{1-\bar{\alpha}_t}}\,\epsilon_\theta(x_t, t)\Big) + \sigma_t z

Sık yapılan hatalar

  • Önceden eğitilmiş bir modeli ince ayar yapmak yerine küçük bir veri kümesinde sıfırdan eğitmeye çalışmak.
  • Hesaplama gücünü küçümseme: eğitim ve hatta çıkarım GPU/TPU kaynakları gerektirir.
  • Çok adımlı örnekleme çıkarımı doğası gereği yavaşlattığı için gerçek zamanlı çıktı beklemek.
  • Eldeki veriler için çok daha basit bir üreticinin (örneğin bir VAE) yeterli olacağı durumlarda bir difüzyon modeli kullanmak.

Sık sorulan sorular

Bir difüzyon modeli GAN'dan nasıl farklıdır?

Her ikisi de üretkendir, ancak bir GAN, kararsız olabilen ve mod çökmesine eğilimli bir ayrımcıya karşı bir üretici eğitir. Bir difüzyon modeli bunun yerine bir gürültü ekleme sürecini adım adım tersine çevirmeyi öğrenir, bu da daha kararlı eğitim ve tipik olarak daha yüksek kaliteli, daha çeşitli örnekler sağlar.

Ne kadar veriye ihtiyacım var?

Sıfırdan eğitim genellikle yaklaşık 1000 örnek veya daha fazlasını gerektirir; bunun altında gürültü giderme süreci iyi öğrenilemez. Az veriyle, önceden eğitilmiş bir modeli ince ayar yapın veya değişken otomatik kodlayıcı gibi daha basit bir üretici kullanın.

Üretim neden yavaş?

Örnekleme gürültüden başlar ve öğrenilmiş gürültü giderme adımını birçok kez ardışık olarak uygular, bu nedenle tek bir örnek üretmek birçok ağ geçişi gerektirir. Gizli difüzyon varyantları, sıkıştırılmış bir gizli alanda çalışarak maliyeti azaltır.

Özel donanıma ihtiyacım var mı?

Evet. Difüzyon modelleri, eğitim ve pratik çıkarım için GPU veya TPU donanımı gerektirir; yalnızca CPU kullanımı genellikle pratik değildir.

İlgili yöntemler

Kaynaklar

  1. Ho, J., Jain, A. & Abbeel, P. (2020). Denoising Diffusion Probabilistic Models. NeurIPS.

    Yayın kaynağını aç
    Kopyalandı.
  2. Rombach, R., Blattmann, A., Lorenz, D., Esser, P. & Ommer, B. (2022). High-Resolution Image Synthesis with Latent Diffusion Models. CVPR.

    Yayın kaynağını aç
    Kopyalandı.