Skip to content
بازگشت به نتایج جست‌وجو

مدل انتشار (Diffusion Model)

معرفی‌شده توسط
Ho, J., Jain, A. & Abbeel, P.
سال
2020
نوع
Generative deep learning (denoising diffusion)

این متن ترجمه ماشینی است و هنوز بازبینی نشده است. متن اصلی را به انگلیسی بخوانید

اندازه قلم

چه کاری انجام می‌دهد؟

مدل انتشار یک روش یادگیری عمیق مولد است که توسط Ho، Jain و Abbeel در سال ۲۰۲۰ (DDPM) معرفی شد و با معکوس کردن یک فرآیند نویزدهی گام‌به‌گام، یاد می‌گیرد تصاویر، صدا و ساختارهای مولکولی با کیفیت بالا تولید کند. این مدل تا حد زیادی جایگزین GANها به عنوان وضعیت فعلی هنر در مدل‌سازی مولد شده است.

شهود پشت روش

تصور کنید یک عکس را با افزودن تدریجی مقدار کمی نویز تصادفی، به‌تدریج به نویز خالص محو می‌کنید. یک مدل انتشار، سفر معکوس را یاد می‌گیرد: از نویز تصادفی شروع می‌کند، در هر مرحله مقداری نویز را حذف می‌کند تا زمانی که یک نمونه تمیز و واقع‌گرایانه ظاهر شود. از آنجایی که مدل فقط باید یک مرحله کوچک نویز را در هر زمان خنثی کند، یادگیری این وظیفه بسیار پایدارتر از تولید یک تصویر کامل در یک مرحله است.

تاریخ

مدل‌های انتشار احتمالی حذف نویز (Denoising Diffusion Probabilistic Models) در سال ۲۰۲۰ توسط Ho، Jain و Abbeel معرفی شدند که بر ایده‌های انتشار قبلی بنا شده و کیفیت تصویر رقابتی با GANها را نشان دادند. در سال ۲۰۲۲، Rombach و همکاران مدل‌های انتشار نهفته (Latent Diffusion Models) را معرفی کردند که فرآیند انتشار را در یک فضای نهفته فشرده اجرا می‌کنند؛ این امر سنتز با وضوح بالا را عملی کرد و سیستم‌هایی مانند Stable Diffusion را پشتیبانی می‌کند. از آن زمان، مدل‌های انتشار به رویکرد مولد غالب تبدیل شده‌اند و تا حد زیادی جایگزین GANها شده‌اند.

چه زمانی استفاده شود

زمانی از مدل انتشار استفاده کنید که نیاز به تولید تصاویر، صدا یا ساختارهای مولکولی با وفاداری بالا دارید و مجموعه داده بزرگی (حدود ۱۰۰۰ نمونه یا بیشتر) یا دسترسی به یک مدل از پیش آموزش دیده دارید. این مدل فرض می‌کند که داده‌های قابل توجه یا پیش‌آموزش وجود دارد و به سخت‌افزار GPU/TPU نیاز دارد؛ استنتاج می‌تواند کند باشد زیرا نمونه‌برداری چندین مرحله حذف نویز را تکرار می‌کند. با کمتر از حدود ۱۰۰۰ نمونه، مدل نمی‌تواند فرآیند حذف نویز را به خوبی یاد بگیرد و یک مولد ساده‌تر مانند یک خودرمزگذار متغیر (variational autoencoder) ایمن‌تر است.

محدودیت‌ها و ملاحظات

  • به یک مجموعه داده بزرگ یا یک مدل از پیش آموزش دیده نیاز دارد — داده کم منجر به کیفیت تولید ضعیف می‌شود.
  • برای آموزش و استفاده عملی به سخت‌افزار GPU/TPU نیاز است.
  • استنتاج کند است زیرا نمونه‌برداری چندین مرحله حذف نویز را تکرار می‌کند.
  • در زیر حدود ۱۰۰۰ نمونه، فرآیند حذف نویز را نمی‌توان به‌طور قابل اعتماد یاد گرفت.

شرایط منبع جایگزین بررسی علمی مستقل یا اعتبارسنجی توسط موتور تحلیل نیست.

نقاط قوت

  • نمونه‌های با کیفیت بالاتر و متنوع‌تر از GANها در تصاویر، صدا و مولکول‌ها تولید می‌کند.
  • آموزش پایدار است و از فروپاشی مُد (mode collapse) و ناپایداری رقابتی (adversarial instability) که GANها را آزار می‌دهد، اجتناب می‌کند.
  • انواع انتشار نهفته، تولید با وضوح بالا را از نظر محاسباتی قابل مدیریت می‌کنند.
  • به‌طور طبیعی از تولید شرطی، مانند پرامپت متن به تصویر، پشتیبانی می‌کند.

کاربردها

  • سنتز تصویر با وضوح بالا و تولید متن به تصویر.
  • تولید صدا و گفتار.
  • تولید ساختار مولکولی و مواد در شیمی و علوم طبیعی.
  • افزایش داده و تولید شرطی از ستون فقرات از پیش آموزش دیده.

چگونه کار می‌کند

چگونه کار می‌کند

1

یک فرآیند پیش‌رونده ثابت، هر مثال آموزشی را با افزودن مقادیر کمی نویز گاوسی در طی چندین مرحله خراب می‌کند، تا زمانی که داده‌ها به نویز خالص تبدیل شوند. این فرآیند نیازی به یادگیری ندارد — صرفاً مسیر از داده تمیز به نویز را که مدل بعداً معکوس خواهد کرد، تعریف می‌کند.

فرمول
q(x_t \mid x_{t-1}) = \mathcal{N}(x_t; \sqrt{1-\beta_t}\,x_{t-1}, \beta_t I)
2

یک شبکه عصبی (معمولاً U-Net) آموزش داده می‌شود تا نویز اضافه شده در یک مرحله معین را پیش‌بینی کند. با کمینه‌سازی خطای مربعات بین نویز واقعی و پیش‌بینی شده در طول گام‌های زمانی و مثال‌های متعدد، شبکه یاد می‌گیرد که چگونه یک ورودی نویزی را یک گام به داده تمیز نزدیک‌تر کند.

فرمول
\mathcal{L} = \mathbb{E}_{t, x_0, \epsilon}\big[\,\lVert \epsilon - \epsilon_\theta(x_t, t) \rVert^2\,\big]
3

برای تولید یک نمونه جدید، مدل از نویز تصادفی شروع می‌کند و به‌طور مکرر مرحله حذف نویز آموخته شده را اعمال می‌کند، نویز پیش‌بینی شده را کم کرده و یک جمله تصادفی کوچک اضافه می‌کند تا زمانی که یک خروجی تمیز ظاهر شود. انواع انتشار نهفته (Latent-diffusion) این حلقه را در یک فضای نهفته فشرده اجرا می‌کنند تا تولید با وضوح بالا را قابل مدیریت کنند.

فرمول
x_{t-1} = \frac{1}{\sqrt{\alpha_t}}\Big(x_t - \frac{\beta_t}{\sqrt{1-\bar{\alpha}_t}}\,\epsilon_\theta(x_t, t)\Big) + \sigma_t z

دام‌های رایج

  • تلاش برای آموزش از ابتدا بر روی یک مجموعه داده کوچک به جای تنظیم دقیق یک مدل از پیش آموزش دیده.
  • دست‌کم گرفتن محاسبات: آموزش و حتی استنتاج به منابع GPU/TPU نیاز دارد.
  • انتظار خروجی بلادرنگ در حالی که نمونه‌برداری چند مرحله‌ای استنتاج را ذاتاً کند می‌کند.
  • استفاده از مدلی که در آن یک مولد بسیار ساده‌تر (مانند VAE) برای داده‌های موجود کافی باشد.

پرسش‌های متداول

مدل انتشار چگونه با GAN متفاوت است؟

هر دو مولد هستند، اما GAN یک مولد را در برابر یک متمایزکننده آموزش می‌دهد که می‌تواند ناپایدار باشد و مستعد فروپاشی مُد باشد. در عوض، مدل انتشار یاد می‌گیرد که فرآیند نویزدهی را گام به گام معکوس کند، که آموزش پایدارتر و نمونه‌های با کیفیت بالاتر و متنوع‌تر را ارائه می‌دهد.

به چه مقدار داده نیاز دارم؟

آموزش از ابتدا به‌طور کلی به حدود ۱۰۰۰ نمونه یا بیشتر نیاز دارد؛ کمتر از آن، فرآیند حذف نویز را نمی‌توان به‌خوبی یاد گرفت. با داده‌های کم، یک مدل از پیش آموزش دیده را تنظیم دقیق کنید یا از یک مولد ساده‌تر مانند خودرمزگذار متغیر استفاده کنید.

چرا تولید کند است؟

نمونه‌برداری از نویز شروع می‌شود و مرحله حذف نویز آموخته شده را به‌طور متوالی چندین بار اعمال می‌کند، بنابراین تولید یک نمونه به چندین گذر شبکه نیاز دارد. انواع انتشار نهفته با کار در یک فضای نهفته فشرده، هزینه را کاهش می‌دهند.

آیا به سخت‌افزار ویژه‌ای نیاز دارم؟

بله. مدل‌های انتشار برای آموزش و استنتاج عملی به سخت‌افزار GPU یا TPU نیاز دارند؛ استفاده فقط از CPU به‌طور کلی غیرعملی است.

روش‌های مرتبط

منابع

  1. Ho, J., Jain, A. & Abbeel, P. (2020). Denoising Diffusion Probabilistic Models. NeurIPS.

    باز کردن مرجع انتشار
    کپی شد.
  2. Rombach, R., Blattmann, A., Lorenz, D., Esser, P. & Ommer, B. (2022). High-Resolution Image Synthesis with Latent Diffusion Models. CVPR.

    باز کردن مرجع انتشار
    کپی شد.