Skip to content
Kembali ke hasil pencarian

Jaringan Adversarial Generatif

Diperkenalkan oleh
Goodfellow, I. et al.
Tahun
2014
Jenis
Generative deep learning (adversarial two-network game)

Teks ini adalah terjemahan mesin dan belum ditinjau. Baca versi asli dalam bahasa Inggris

Ukuran huruf

Apa fungsinya?

Jaringan Adversarial Generatif (GAN), yang diperkenalkan oleh Ian Goodfellow dan kolega pada tahun 2014, menghasilkan data sintetis yang realistis melalui persaingan dua jaringan saraf — generator dan diskriminator.

GAN banyak digunakan untuk sintesis gambar, augmentasi data, dan estimasi distribusi.

Intuisi di balik metode

Bayangkan seorang pemalsu dan seorang detektif yang terkunci dalam sebuah kontes. Generator (pemalsu) mencoba menghasilkan sampel palsu yang cukup meyakinkan untuk dianggap asli, sementara diskriminator (detektif) mencoba membedakan data asli dari yang palsu. Seiring masing-masing menjadi lebih baik dalam pekerjaannya, generator dipaksa untuk menghasilkan keluaran yang semakin realistis hingga kepalsuannya sulit dibedakan dari data asli.

Sejarah

Jaringan Adversarial Generatif diperkenalkan oleh Ian Goodfellow dan kolega pada tahun 2014, membingkai generasi sebagai permainan dua pemain antara generator dan diskriminator. Ide ini memunculkan keluarga besar varian untuk sintesis dan terjemahan gambar. Karras dan kolega (2020) secara substansial meningkatkan kualitas gambar dengan StyleGAN, menganalisis dan meningkatkan ketepatan generatifnya. Baru-baru ini, model difusi telah muncul sebagai alternatif terkemuka untuk generasi berkualitas tinggi.

Kapan digunakan

Gunakan GAN ketika Anda perlu menghasilkan sampel sintetis yang realistis — sintesis gambar, augmentasi data, atau estimasi distribusi — dari data kontinu berdimensi tinggi seperti gambar atau audio, dan Anda memiliki kumpulan data yang cukup besar (sekitar 500 observasi sebagai minimum, dengan 1000 atau lebih sangat disukai). GAN tidak mengasumsikan data terdistribusi normal, tetapi memerlukan sumber daya GPU, dan keseimbangan generator-diskriminator harus diawasi untuk keruntuhan mode. Pada kumpulan data kecil, keseimbangan adversarial tidak dapat ditetapkan; autoencoder variasi atau pendekatan augmentasi data yang lebih sederhana lebih aman.

Batasan dan pertimbangan

  • Pelatihan tidak stabil dan rentan terhadap keruntuhan mode, di mana generator hanya mencakup sebagian dari distribusi data.
  • Memerlukan GPU dan data pelatihan yang substansial — biasanya minimal 500 observasi dan dalam praktik 1000 atau lebih.
  • Di bawah sekitar 1000 sampel, keseimbangan generator-diskriminator tidak dapat ditetapkan dan risiko keruntuhan mode menjadi sangat tinggi.
  • Di bawah sekitar 500 sampel, model sama sekali tidak dapat menghasilkan data realistis, dan alternatif augmentasi lebih disukai.

Syarat dari sumber tidak menggantikan tinjauan ilmiah independen atau validasi oleh mesin analisis.

Kelebihan

  • Menghasilkan data sintetis yang sangat realistis, termasuk gambar dan audio.
  • Tidak memerlukan data terdistribusi normal dan menangani masukan kontinu berdimensi tinggi.
  • Berguna untuk augmentasi data ketika sampel berlabel asli langka.
  • Cocok untuk tujuan prediksi dan eksplorasi estimasi distribusi.

Penerapan

  • Sintesis gambar dan generasi konten visual yang realistis.
  • Augmentasi data untuk memperluas kumpulan data pelatihan yang langka.
  • Estimasi distribusi untuk data kontinu berdimensi tinggi.
  • Sintesis audio dan sinyal.

Cara kerjanya

Cara kerjanya

1

Dua jaringan diatur dengan tujuan yang berlawanan. Generator memetakan derau acak menjadi sampel sintetis, bertujuan untuk meniru distribusi data asli. Diskriminator menerima sampel asli dan yang dihasilkan, lalu belajar mengklasifikasikan mana yang asli. Karena data biasanya berdimensi tinggi (gambar, audio), pelatihan biasanya memerlukan GPU.

2

Kedua jaringan dilatih bersama sebagai permainan minimax: diskriminator diperbarui untuk memaksimalkan kemampuannya memisahkan yang asli dari yang palsu, sementara generator diperbarui untuk meminimalkan keberhasilan diskriminator — yaitu, untuk menipunya. Tujuan bersama menghubungkan kedua jaringan, sehingga peningkatan satu jaringan memberikan tekanan pada jaringan lainnya.

Rumus
\min_G \max_D \; \mathbb{E}_{x}[\log D(x)] + \mathbb{E}_{z}[\log(1 - D(G(z)))]
3

Pelatihan berlanjut hingga tercapai keseimbangan di mana sampel generator sangat mirip dengan distribusi asli sehingga diskriminator tidak dapat lagi membedakannya secara andal. Keseimbangan antara kedua jaringan harus dipantau dengan cermat, karena ketidakstabilan dapat menyebabkan keruntuhan mode (mode collapse), di mana generator hanya menghasilkan sebagian kecil dari keluaran yang mungkin.

Kesalahan umum

  • Pelatihan pada data yang terlalu sedikit, sehingga keseimbangan adversarial gagal dan keruntuhan mode mengikuti.
  • Tidak memantau keruntuhan mode dan mengasumsikan keluaran yang bervariasi tanpa memeriksa keragaman sampel.
  • Mencoba melatih tanpa sumber daya GPU untuk data gambar atau audio berdimensi tinggi.
  • Menggunakan GAN pada kumpulan data kecil di mana autoencoder variasi atau augmentasi sederhana akan lebih andal.

Pertanyaan yang sering diajukan

Apa itu keruntuhan mode?

Keruntuhan mode terjadi ketika generator belajar untuk menghasilkan hanya serangkaian keluaran yang sempit yang secara andal menipu diskriminator, alih-alih mencakup seluruh variasi data asli. Ini adalah mode kegagalan utama pelatihan GAN, terutama pada kumpulan data kecil, dan keragaman sampel harus dipantau selama pelatihan.

Berapa banyak data yang saya butuhkan?

GAN membutuhkan kumpulan data yang substansial: sekitar 500 observasi adalah minimum praktis, tetapi di bawah sekitar 1000, keseimbangan generator-diskriminator sulit ditetapkan dan risiko keruntuhan mode tinggi. Dengan data yang sangat sedikit, autoencoder variasi atau metode augmentasi yang lebih sederhana adalah pilihan yang lebih aman.

Apakah saya memerlukan GPU?

Dalam praktik, ya. GAN bekerja pada data berdimensi tinggi seperti gambar dan audio, dan pelatihan dua jaringan yang bersaing sangat intensif secara komputasi, sehingga GPU secara efektif diperlukan.

Bagaimana GAN berbeda dari model difusi?

GAN menghasilkan melalui persaingan adversarial dari dua jaringan, yang membuat pelatihan cepat tetapi tidak stabil. Model difusi sebaliknya belajar untuk membalikkan proses penambahan derau langkah demi langkah dan telah menjadi alternatif yang kuat untuk generasi berkualitas tinggi.

Metode terkait

Sumber

  1. Goodfellow, I. et al. (2014). Generative Adversarial Nets. NeurIPS.

    Buka referensi publikasi
    Disalin.
  2. Karras, T. et al. (2020). Analyzing and Improving the Image Quality of StyleGAN. CVPR.

    Buka referensi DOI
    Disalin.