شبکه مولد تخاصمی
- معرفیشده توسط
- Goodfellow, I. et al.
- سال
- 2014
- نوع
- Generative deep learning (adversarial two-network game)
این متن ترجمه ماشینی است و هنوز بازبینی نشده است. متن اصلی را به انگلیسی بخوانید
چه کاری انجام میدهد؟
یک شبکه مولد تخاصمی (GAN)، که توسط ایان گودفلو و همکارانش در سال ۲۰۱۴ معرفی شد، از طریق رقابت دو شبکه عصبی - یک مولد و یک ممیز - دادههای مصنوعی واقعگرایانه تولید میکند. این روش به طور گسترده برای سنتز تصویر، افزایش داده و تخمین توزیع استفاده میشود.
شهود پشت روش
یک جاعل و یک کارآگاه را در حال رقابت تصور کنید. مولد (جاعل) سعی میکند نمونههای جعلی بسازد که به اندازه کافی متقاعدکننده باشند تا به عنوان واقعی پذیرفته شوند، در حالی که ممیز (کارآگاه) سعی میکند دادههای واقعی را از جعلی تشخیص دهد. با بهتر شدن هر کدام در کار خود، مولد مجبور میشود خروجیهای واقعگرایانهتری تولید کند تا زمانی که جعلهایش به سختی از دادههای واقعی قابل تشخیص شوند.
تاریخ
شبکه مولد تخاصمی توسط ایان گودفلو و همکارانش در سال ۲۰۱۴ معرفی شد و تولید را به عنوان یک بازی دو نفره بین یک مولد و یک ممیز چارچوببندی کرد. این ایده خانواده بزرگی از انواع مختلف را برای سنتز و ترجمه تصویر ایجاد کرد. کاراس و همکاران (۲۰۲۰) کیفیت تصویر را با StyleGAN به طور قابل توجهی پیش بردند و وفاداری مولد آن را تجزیه و تحلیل و بهبود بخشیدند. اخیراً، مدلهای انتشاری (diffusion models) به عنوان یک جایگزین پیشرو برای تولید با کیفیت بالا ظهور کردهاند.
چه زمانی استفاده شود
هنگامی که نیاز به تولید نمونههای مصنوعی واقعگرایانه دارید - سنتز تصویر، افزایش داده، یا تخمین توزیع - از دادههای پیوسته با ابعاد بالا مانند تصاویر یا صدا، و مجموعه دادهای به اندازه کافی بزرگ (حدود ۵۰۰ مشاهده به عنوان حداقل، و ۱۰۰۰ یا بیشتر ترجیحاً) دارید، از GAN استفاده کنید. این روش فرض توزیع نرمال دادهها را نمیکند، اما به منابع پردازنده گرافیکی نیاز دارد و تعادل مولد-ممیز باید برای جلوگیری از فروپاشی مُد نظارت شود. در مجموعه دادههای کوچک، تعادل تخاصمی قابل ایجاد نیست؛ یک خودرمزگذار متغیر (variational autoencoder) یا رویکرد سادهتر افزایش داده، ایمنتر است.
محدودیتها و ملاحظات
- آموزش ناپایدار است و مستعد فروپاشی مُد است، جایی که مولد تنها بخشی از توزیع داده را پوشش میدهد.
- به پردازنده گرافیکی (GPU) و دادههای آموزشی قابل توجهی نیاز دارد - معمولاً حداقل ۵۰۰ مشاهده و در عمل ۱۰۰۰ یا بیشتر.
- در حدود ۱۰۰۰ نمونه یا کمتر، تعادل مولد-ممیز قابل ایجاد نیست و خطر فروپاشی مُد بسیار بالا میرود.
- در حدود ۵۰۰ نمونه یا کمتر، مدل اصلاً نمیتواند دادههای واقعگرایانه تولید کند و جایگزینهای افزایش داده ترجیح داده میشوند.
شرایط منبع جایگزین بررسی علمی مستقل یا اعتبارسنجی توسط موتور تحلیل نیست.
نقاط قوت
- دادههای مصنوعی بسیار واقعگرایانه، از جمله تصاویر و صدا تولید میکند.
- دادههای با توزیع نرمال را لازم ندارد و ورودیهای پیوسته با ابعاد بالا را مدیریت میکند.
- برای افزایش داده زمانی که نمونههای برچسبدار واقعی کمیاب هستند، مفید است.
- مناسب برای هر دو منظور پیشبینی و تخمین توزیع اکتشافی.
کاربردها
- سنتز تصویر و تولید محتوای بصری واقعگرایانه.
- افزایش داده برای گسترش مجموعه دادههای آموزشی کمیاب.
- تخمین توزیع برای دادههای پیوسته با ابعاد بالا.
- سنتز صدا و سیگنال.
چگونه کار میکند
چگونه کار میکند
دو شبکه با اهداف متضاد راهاندازی میشوند. مولد، نویز تصادفی را به نمونههای مصنوعی نگاشت میکند و هدفش تقلید از توزیع دادههای واقعی است. ممیز، هم نمونههای واقعی و هم نمونههای تولید شده را دریافت میکند و یاد میگیرد که کدام یک را تشخیص دهد. از آنجایی که دادهها معمولاً ابعاد بالایی دارند (تصاویر، صدا)، آموزش معمولاً به پردازنده گرافیکی (GPU) نیاز دارد.
این دو شبکه به عنوان یک بازی مینیمکس با هم آموزش داده میشوند: ممیز برای حداکثر کردن توانایی خود در تفکیک واقعی از جعلی بهروزرسانی میشود، در حالی که مولد برای به حداقل رساندن موفقیت ممیز - یعنی فریب دادن آن - بهروزرسانی میشود. هدف مشترک هر دو شبکه را به هم پیوند میدهد، بنابراین بهبود یکی، فشار را بر دیگری وارد میکند.
فرمول
\min_G \max_D \; \mathbb{E}_{x}[\log D(x)] + \mathbb{E}_{z}[\log(1 - D(G(z)))]آموزش ادامه مییابد تا زمانی که به تعادلی نزدیک شویم که در آن نمونههای مولد به اندازه کافی به توزیع واقعی شبیه شوند تا ممیز دیگر نتواند به طور قابل اعتماد آنها را تشخیص دهد. تعادل بین دو شبکه باید به دقت نظارت شود، زیرا ناپایداری میتواند منجر به فروپاشی مُد (mode collapse) شود، جایی که مولد تنها بخش کوچکی از خروجیهای ممکن را تولید میکند.
دامهای رایج
- آموزش بر روی دادههای بسیار کم، به طوری که تعادل تخاصمی شکست میخورد و فروپاشی مُد به دنبال آن میآید.
- نظارت نکردن بر فروپاشی مُد و فرض کردن خروجی متنوع بدون بررسی تنوع نمونه.
- تلاش برای آموزش بدون منابع پردازنده گرافیکی برای دادههای تصویری یا صوتی با ابعاد بالا.
- استفاده از GAN برای مجموعه داده کوچک که در آن یک خودرمزگذار متغیر یا افزایش داده ساده قابل اطمینانتر است.
پرسشهای متداول
فروپاشی مُد چیست؟
فروپاشی مُد زمانی رخ میدهد که مولد یاد میگیرد تنها مجموعه محدودی از خروجیها را تولید کند که به طور قابل اعتماد ممیز را فریب میدهند، به جای پوشش دادن تنوع کامل دادههای واقعی. این یک حالت شکست مرکزی در آموزش GAN است، به ویژه در مجموعه دادههای کوچک، و تنوع نمونه باید در طول آموزش نظارت شود.
چه مقدار داده نیاز دارم؟
یک GAN به مجموعه داده قابل توجهی نیاز دارد: حدود ۵۰۰ مشاهده حداقل عملی است، اما زیر حدود ۱۰۰۰، ایجاد تعادل مولد-ممیز دشوار است و خطر فروپاشی مُد بالا است. با دادههای بسیار کم، یک خودرمزگذار متغیر یا روش افزایش داده سادهتر، انتخاب ایمنتری است.
آیا به پردازنده گرافیکی نیاز دارم؟
در عمل بله. GANها بر روی دادههای با ابعاد بالا مانند تصاویر و صدا کار میکنند و آموزش دو شبکه رقیب از نظر محاسباتی فشرده است، بنابراین پردازنده گرافیکی عملاً مورد نیاز است.
GAN چگونه با مدل انتشاری متفاوت است؟
یک GAN از طریق رقابت تخاصمی دو شبکه تولید میکند، که آموزش را سریع اما ناپایدار میسازد. مدلهای انتشاری در عوض یاد میگیرند که یک فرآیند نویزگذاری گام به گام را معکوس کنند و به یک جایگزین قوی برای تولید با کیفیت بالا تبدیل شدهاند.
روشهای مرتبط
منابع
Goodfellow, I. et al. (2014). Generative Adversarial Nets. NeurIPS.
باز کردن مرجع انتشارکپی شد.Karras, T. et al. (2020). Analyzing and Improving the Image Quality of StyleGAN. CVPR.
باز کردن مرجع DOIکپی شد.