Skip to content
Kembali ke hasil pencarian

Model Difusi

Diperkenalkan oleh
Ho, J., Jain, A. & Abbeel, P.
Tahun
2020
Jenis
Generative deep learning (denoising diffusion)

Teks ini adalah terjemahan mesin dan belum ditinjau. Baca versi asli dalam bahasa Inggris

Ukuran huruf

Apa fungsinya?

Model difusi adalah metode pembelajaran mendalam generatif, yang diperkenalkan oleh Ho, Jain, dan Abbeel pada tahun 2020 (DDPM), yang belajar menghasilkan citra, audio, dan struktur molekuler berkualitas tinggi dengan membalikkan proses penambahan derau (noise) langkah demi langkah.

Model ini sebagian besar telah menggantikan GAN sebagai keadaan seni saat ini dalam pemodelan generatif.

Intuisi di balik metode

Bayangkan secara bertahap mengaburkan sebuah foto menjadi statis murni dengan menambahkan sedikit derau acak setiap kali. Model difusi mempelajari perjalanan sebaliknya: dimulai dari derau acak, ia menghilangkan sedikit derau di setiap langkah hingga sampel yang bersih dan realistis muncul. Karena hanya perlu membatalkan satu langkah derau kecil pada satu waktu, tugas ini jauh lebih stabil untuk dipelajari daripada menghasilkan seluruh citra dalam satu kali percobaan.

Sejarah

Model Probabilistik Difusi Penghilang Derau (Denoising Diffusion Probabilistic Models) diperkenalkan oleh Ho, Jain, dan Abbeel pada tahun 2020, dibangun di atas ide difusi sebelumnya dan menunjukkan kualitas citra yang kompetitif dengan GAN. Pada tahun 2022, Rombach dan rekan-rekannya memperkenalkan Model Difusi Laten (Latent Diffusion Models), yang menjalankan proses difusi di ruang laten yang terkompresi; ini membuat sintesis resolusi tinggi menjadi praktis dan mendasari sistem seperti Stable Diffusion. Model difusi sejak itu menjadi pendekatan generatif yang dominan, sebagian besar menggantikan GAN.

Kapan digunakan

Gunakan model difusi ketika Anda perlu menghasilkan citra, audio, atau struktur molekuler dengan fidelitas tinggi dan memiliki kumpulan data besar (sekitar 1000 sampel atau lebih) atau akses ke model yang telah dilatih sebelumnya. Model ini mengasumsikan data yang substansial atau pra-pelatihan dan memerlukan perangkat keras GPU/TPU; inferensi bisa lambat karena pengambilan sampel berulang kali melalui banyak langkah penghilangan derau. Dengan kurang dari sekitar 1000 sampel, model tidak dapat mempelajari proses penghilangan derau dengan baik, dan generator yang lebih sederhana seperti autoencoder variasi lebih aman.

Batasan dan pertimbangan

  • Membutuhkan kumpulan data besar atau model yang telah dilatih sebelumnya — data kecil menghasilkan kualitas generasi yang buruk.
  • Perangkat keras GPU/TPU diperlukan untuk pelatihan dan penggunaan praktis.
  • Inferensi lambat karena pengambilan sampel berulang kali melalui banyak langkah penghilangan derau.
  • Di bawah sekitar 1000 sampel, proses penghilangan derau tidak dapat dipelajari secara andal.

Syarat dari sumber tidak menggantikan tinjauan ilmiah independen atau validasi oleh mesin analisis.

Kelebihan

  • Menghasilkan sampel berkualitas lebih tinggi dan lebih beragam daripada GAN di seluruh citra, audio, dan molekul.
  • Pelatihan stabil, menghindari keruntuhan mode (mode collapse) dan ketidakstabilan adversarial yang mengganggu GAN.
  • Varian difusi laten membuat generasi resolusi tinggi menjadi layak secara komputasi.
  • Secara alami mendukung generasi bersyarat, seperti prompt teks-ke-citra.

Penerapan

  • Sintesis citra resolusi tinggi dan generasi teks-ke-citra.
  • Generasi audio dan ucapan.
  • Generasi struktur molekuler dan material dalam kimia dan ilmu alam.
  • Augmentasi data dan generasi bersyarat dari tulang punggung (backbone) yang telah dilatih sebelumnya.

Cara kerjanya

Cara kerjanya

1

Proses maju yang tetap merusak setiap contoh pelatihan dengan menambahkan sejumlah kecil derau Gaussian selama banyak langkah, hingga data diubah menjadi derau murni. Proses ini tidak memerlukan pembelajaran — ia hanya mendefinisikan lintasan dari data bersih ke derau yang akan dibalikkan oleh model nanti.

Rumus
q(x_t \mid x_{t-1}) = \mathcal{N}(x_t; \sqrt{1-\beta_t}\,x_{t-1}, \beta_t I)
2

Sebuah jaringan saraf (biasanya U-Net) dilatih untuk memprediksi derau yang ditambahkan pada langkah tertentu. Dengan meminimalkan kesalahan kuadrat antara derau sebenarnya dan yang diprediksi di banyak langkah waktu dan contoh, jaringan belajar cara membawa masukan yang berderau satu langkah lebih dekat ke data bersih.

Rumus
\mathcal{L} = \mathbb{E}_{t, x_0, \epsilon}\big[\,\lVert \epsilon - \epsilon_\theta(x_t, t) \rVert^2\,\big]
3

Untuk menghasilkan sampel baru, model dimulai dari derau acak dan berulang kali menerapkan langkah penghilangan derau yang dipelajari, mengurangi derau yang diprediksi dan menambahkan suku stokastik kecil hingga keluaran yang bersih muncul. Varian difusi laten (Stable Diffusion) menjalankan loop ini di ruang laten yang terkompresi untuk membuat generasi resolusi tinggi menjadi layak.

Rumus
x_{t-1} = \frac{1}{\sqrt{\alpha_t}}\Big(x_t - \frac{\beta_t}{\sqrt{1-\bar{\alpha}_t}}\,\epsilon_\theta(x_t, t)\Big) + \sigma_t z

Kesalahan umum

  • Mencoba melatih dari awal pada kumpulan data kecil alih-alih menyempurnakan model yang telah dilatih sebelumnya.
  • Meremehkan komputasi: pelatihan dan bahkan inferensi menuntut sumber daya GPU/TPU.
  • Mengharapkan keluaran waktu nyata ketika pengambilan sampel multi-langkah membuat inferensi secara inheren lambat.
  • Menggunakan model difusi di mana generator yang jauh lebih sederhana (misalnya, VAE) sudah cukup untuk data yang ada.

Pertanyaan yang sering diajukan

Bagaimana model difusi berbeda dari GAN?

Keduanya generatif, tetapi GAN melatih generator melawan diskriminator, yang bisa tidak stabil dan rentan terhadap keruntuhan mode. Model difusi sebaliknya belajar untuk membalikkan proses penambahan derau langkah demi langkah, memberikan pelatihan yang lebih stabil dan sampel yang biasanya berkualitas lebih tinggi dan lebih beragam.

Berapa banyak data yang saya butuhkan?

Pelatihan dari awal umumnya membutuhkan sekitar 1000 sampel atau lebih; di bawah itu, proses penghilangan derau tidak dapat dipelajari dengan baik. Dengan data kecil, sempurnakan model yang telah dilatih sebelumnya atau gunakan generator yang lebih sederhana seperti autoencoder variasi.

Mengapa generasi lambat?

Pengambilan sampel dimulai dari derau dan menerapkan langkah penghilangan derau yang dipelajari berkali-kali secara berurutan, sehingga menghasilkan satu sampel memerlukan banyak lintasan jaringan. Varian difusi laten mengurangi biaya dengan bekerja di ruang laten yang terkompresi.

Apakah saya memerlukan perangkat keras khusus?

Ya. Model difusi memerlukan perangkat keras GPU atau TPU untuk pelatihan dan untuk inferensi praktis; penggunaan CPU saja umumnya tidak praktis.

Metode terkait

Sumber

  1. Ho, J., Jain, A. & Abbeel, P. (2020). Denoising Diffusion Probabilistic Models. NeurIPS.

    Buka referensi publikasi
    Disalin.
  2. Rombach, R., Blattmann, A., Lorenz, D., Esser, P. & Ommer, B. (2022). High-Resolution Image Synthesis with Latent Diffusion Models. CVPR.

    Buka referensi publikasi
    Disalin.