Skip to content
بازگشت به نتایج جست‌وجو

خودرمزگذار وردشی (Variational Autoencoder)

معرفی‌شده توسط
Kingma, D. P. & Welling, M.
سال
2014
نوع
Deep generative latent-variable model (encoder–decoder)

این متن ترجمه ماشینی است و هنوز بازبینی نشده است. متن اصلی را به انگلیسی بخوانید

اندازه قلم

چه کاری انجام می‌دهد؟

خودرمزگذار وردشی (Variational Autoencoder - VAE) یک مدل متغیر پنهان مولد عمیق است که توسط Diederik Kingma و Max Welling در سال ۲۰۱۴ معرفی شد. این مدل داده‌ها را به صورت یک توزیع احتمال در فضای پنهان رمزگذاری کرده و از این توزیع نمونه‌برداری می‌کند تا نمونه‌های جدیدی تولید نماید. از VAE برای تولید داده، تشخیص ناهنجاری و یادگیری ویژگی استفاده می‌شود.

شهود پشت روش

یک خودرمزگذار معمولی، هر ورودی را به یک نقطه واحد در فضای فشرده فشرده می‌کند که برای بازسازی خوب است، اما راه اصولی برای ایجاد داده‌های جدید باقی نمی‌گذارد. در عوض، VAE هر ورودی را به یک ابر احتمال کوچک - میانگین و پراکندگی - نگاشت می‌کند و این ابرها را مجبور می‌کند تا به یک توزیع مرجع ساده نزدیک بمانند. از آنجایی که فضای پنهان سپس هموار و پیوسته است، می‌توان یک نقطه تازه از آن ترسیم کرد و رمزگشا آن را به یک مثال کاملاً جدید و قابل قبول تبدیل می‌کند.

تاریخ

خودرمزگذار وردشی توسط Diederik Kingma و Max Welling در سال ۲۰۱۴ در مقاله «Auto-Encoding Variational Bayes» معرفی شد که استنتاج وردشی را با رمزگذارها و رمزگشاهای شبکه‌های عصبی ترکیب کرد و ترفند پارامتری‌سازی را معرفی نمود که مدل را به صورت سرتاسری قابل آموزش کرد. در سال ۲۰۱۷، Higgins و همکارانش beta-VAE را پیشنهاد کردند که جمله KL را با یک ضریب وزن‌دهی می‌کند تا عوامل پنهان جدا شده‌تری را تشویق کند. VAE در کنار GANها و اخیراً مدل‌های انتشار، به یکی از مدل‌های مولد عمیق بنیادی تبدیل شد.

چه زمانی استفاده شود

زمانی که حداقل حدود ۲۰۰ مشاهده با مقادیر پیوسته دارید و می‌خواهید یک نمایش پنهان هموار برای تولید داده‌های جدید، تشخیص ناهنجاری‌ها یا فشرده‌سازی ورودی‌های با ابعاد بالا یاد بگیرید و یک GPU برای آموزش در دسترس باشد، انتخاب مناسبی است. این مدل فرض می‌کند که متغیر پنهان پیوسته است و با بهینه‌سازی مشترک خطای بازسازی و واگرایی KL آموزش داده می‌شود. در کمتر از حدود ۲۰۰ نمونه، توزیع پنهان به طور معناداری قابل یادگیری نیست و روش ساده‌تری مانند PCA ترجیح داده می‌شود؛ در کمتر از حدود ۵۰ نمونه کاملاً شکست می‌خورد.

محدودیت‌ها و ملاحظات

  • به نمونه نسبتاً بزرگی (حدود ۲۰۰+) و معمولاً یک GPU برای آموزش مؤثر نیاز دارد.
  • نمونه‌ها در مقایسه با مولدهای مبتنی بر تخاصم یا انتشار (adversarial or diffusion-based generators) ممکن است تار به نظر برسند.
  • در مجموعه داده‌های کوچک، توزیع پنهان به طور معناداری یاد گرفته نمی‌شود، بنابراین PCA انتخاب ایمن‌تری است.
  • متعادل کردن جملات بازسازی و KL ظریف است؛ جمله KL می‌تواند فرو بریزد و نادیده گرفته شود.

شرایط منبع جایگزین بررسی علمی مستقل یا اعتبارسنجی توسط موتور تحلیل نیست.

نقاط قوت

  • یک فضای پنهان هموار و پیوسته را یاد می‌گیرد که می‌توان از آن برای تولید نمونه‌های واقعاً جدید نمونه‌برداری کرد.
  • یک چارچوب احتمالی اصولی را فراهم می‌کند و یک هدف واحد (حد پایین شواهد) را بهینه می‌کند.
  • فراتر از تولید برای تشخیص ناهنجاری، یادگیری ویژگی و کاهش ابعاد غیرخطی مفید است.
  • نیازی به ورودی‌های با توزیع نرمال ندارد و با داده‌های پیوسته با ابعاد بالا کار می‌کند.
  • ترفند پارامتری‌سازی باعث می‌شود کل مدل با استفاده از گرادیان کاهشی به صورت سرتاسری قابل آموزش باشد.

کاربردها

  • تولید نمونه‌های داده مصنوعی جدید از یک فضای پنهان آموخته شده.
  • تشخیص ناهنجاری و داده‌های پرت با علامت‌گذاری ورودی‌هایی که مدل آن‌ها را ضعیف بازسازی می‌کند.
  • کاهش ابعاد غیرخطی و یادگیری ویژگی بر روی داده‌های با ابعاد بالا.
  • یادگیری نمایش به عنوان یک مرحله پیشین برای پیش‌بینی یا خوشه‌بندی پایین‌دستی.

چگونه کار می‌کند

چگونه کار می‌کند

1

یک شبکه رمزگذار، هر ورودی را می‌خواند و پارامترهای توزیعی را بر روی متغیر پنهان - میانگین و واریانس - خروجی می‌دهد، نه یک کد ثابت واحد. این مرحله رمزگذاری احتمالی است که هر مشاهده را به جای یک نقطه، به عنوان یک ناحیه از فضای پنهان نشان می‌دهد.

فرمول
q_\phi(z \mid x) = \mathcal{N}(z; \mu_\phi(x), \sigma_\phi^2(x))
2

یک بردار پنهان با استفاده از ترفند پارامتری‌سازی (reparameterisation trick) از توزیع رمزگذاری شده ترسیم می‌شود: به جای نمونه‌برداری مستقیم، مدل نمونه را به صورت میانگین به علاوه انحراف معیار ضرب در نویز گوسی استاندارد می‌نویسد. از آنجایی که تصادفی بودن به یک جمله نویز خارجی منتقل می‌شود، گرادیان‌ها همچنان می‌توانند از شبکه عبور کنند و مدل را می‌توان به صورت سرتاسری آموزش داد.

فرمول
z = \mu + \sigma \odot \epsilon, \quad \epsilon \sim \mathcal{N}(0, I)
3

یک شبکه رمزگشا، بردار پنهان نمونه‌برداری شده را به فضای داده نگاشت می‌کند و آموزش، حد پایین شواهد (evidence lower bound) را بهینه می‌کند: یک جمله بازسازی که برای بازسازی دقیق ورودی پاداش می‌دهد، منهای یک جمله کولبک–لایبلر (Kullback–Leibler) که هر توزیع رمزگذاری شده را به سمت توزیع پیشین می‌کشد. متعادل کردن این دو نیرو، فضای پنهانی را تولید می‌کند که هم خوب بازسازی می‌کند و هم از تولید نمونه‌های جدید پشتیبانی می‌کند.

فرمول
\mathcal{L} = \mathbb{E}_{q_\phi}[\log p_\theta(x \mid z)] - D_{KL}(q_\phi(z \mid x) \,\|\, p(z))

دام‌های رایج

  • آموزش بر روی مشاهدات کم (کمتر از حدود ۲۰۰) و انتظار یک مدل مولد معنادار.
  • نادیده گرفتن فروپاشی پسین (posterior collapse)، که در آن جمله KL کد پنهان را غیرمفید می‌کند.
  • قضاوت مدل صرفاً بر اساس وضوح بازسازی به جای کیفیت نمونه‌های تولید شده.
  • نادیده گرفتن ترفند پارامتری‌سازی و شکستن جریان گرادیان از طریق مرحله نمونه‌برداری.
  • استفاده از VAE زمانی که کاهش ابعاد خطی ساده مانند PCA کافی باشد.

پرسش‌های متداول

تفاوت VAE با یک خودرمزگذار معمولی چیست؟

یک خودرمزگذار معمولی هر ورودی را به یک کد پنهان واحد نگاشت می‌کند که فقط برای بازسازی بهینه شده است. VAE هر ورودی را به عنوان یک توزیع احتمال رمزگذاری می‌کند و یک جمله KL اضافه می‌کند که آن توزیع را نزدیک به یک توزیع پیشین نگه می‌دارد، که منجر به یک فضای پنهان هموار می‌شود که می‌توان از آن برای تولید داده‌های جدید نمونه‌برداری کرد.

ترفند پارامتری‌سازی چیست؟

نمونه پنهان را به صورت میانگین رمزگذاری شده به علاوه انحراف معیار ضرب در نویز گوسی استاندارد بازنویسی می‌کند. با انتقال تصادفی بودن به یک جمله نویز خارجی، گرادیان‌ها می‌توانند از مرحله نمونه‌برداری عبور کنند تا رمزگذار و رمزگشا بتوانند با هم از طریق پس‌انتشار (backpropagation) آموزش ببینند.

چه مقدار داده و چه سخت‌افزاری نیاز دارم؟

حداقل حدود ۲۰۰ مشاهده پیوسته توصیه می‌شود و یک GPU برای آموزش توصیه می‌شود. در کمتر از ۲۰۰، توزیع پنهان به طور معناداری یاد گرفته نمی‌شود و PCA ترجیح داده می‌شود؛ در کمتر از حدود ۵۰، VAE کاملاً شکست می‌خورد.

beta-VAE چیست؟

beta-VAE که توسط Higgins و همکارانش در سال ۲۰۱۷ پیشنهاد شد، جمله KL را در یک ضریب (بتا) ضرب می‌کند. بتای بزرگتر، ابعاد پنهان را برای جذب عوامل تغییر مستقل و جدا شده بیشتر تحت فشار قرار می‌دهد، البته با مقداری هزینه برای دقت بازسازی.

روش‌های مرتبط

منابع

  1. Kingma, D. P. & Welling, M. (2014). Auto-Encoding Variational Bayes. International Conference on Learning Representations (ICLR).

    باز کردن مرجع انتشار
    کپی شد.
  2. Higgins, I. et al. (2017). beta-VAE: Learning Basic Visual Concepts with a Constrained Variational Framework. International Conference on Learning Representations (ICLR).

    باز کردن مرجع انتشار
    کپی شد.