نموذج الانتشار
- قدّمه
- Ho, J., Jain, A. & Abbeel, P.
- السنة
- 2020
- النوع
- Generative deep learning (denoising diffusion)
هذا النص ترجمة آلية ولم تتم مراجعته بعد. اقرأ النص الأصلي بالإنجليزية
ماذا تفعل؟
نموذج الانتشار هو طريقة تعلم عميق توليدي، قدمها Ho و Jain و Abbeel في عام 2020 (DDPM)، تتعلم إنتاج صور وصوت وهياكل جزيئية عالية الجودة عن طريق عكس عملية تشويش خطوة بخطوة. لقد أزاح إلى حد كبير نماذج GANs باعتبارها أحدث ما توصلت إليه التكنولوجيا في النمذجة التوليدية.
الفكرة الحدسية وراء الطريقة
تخيل أنك تقوم بتعتيم صورة تدريجيًا إلى ضوضاء نقية عن طريق إضافة القليل من الضوضاء العشوائية في كل مرة. يتعلم نموذج الانتشار الرحلة المعاكسة: بدءًا من الضوضاء العشوائية، فإنه يزيل القليل من الضوضاء في كل خطوة حتى تظهر عينة نظيفة وواقعية. نظرًا لأنه يحتاج فقط إلى إلغاء خطوة ضوضاء صغيرة واحدة في كل مرة، فإن المهمة تكون أكثر استقرارًا للتعلم من إنشاء صورة كاملة في لقطة واحدة.
التاريخ
تم تقديم نماذج الانتشار الاحتمالية لإزالة الضوضاء بواسطة Ho و Jain و Abbeel في عام 2020، بناءً على أفكار الانتشار السابقة وأظهرت جودة صور تنافسية مع نماذج GANs. في عام 2022، قدم Rombach وزملاؤه نماذج الانتشار الكامن، التي تشغل عملية الانتشار في مساحة كامنة مضغوطة؛ جعل هذا التوليف عالي الدقة عمليًا ويدعم أنظمة مثل Stable Diffusion. أصبحت نماذج الانتشار منذ ذلك الحين النهج التوليدي السائد، لتحل محل نماذج GANs إلى حد كبير.
متى تُستخدم
استخدم نموذج الانتشار عندما تحتاج إلى إنشاء صور أو صوت أو هياكل جزيئية عالية الدقة ولديك مجموعة بيانات كبيرة (حوالي 1000 عينة أو أكثر) أو وصول إلى نموذج مدرب مسبقًا. يفترض بيانات كبيرة أو تدريبًا مسبقًا ويتطلب أجهزة GPU/TPU؛ قد يكون الاستدلال بطيئًا لأن أخذ العينات يكرر العديد من خطوات إزالة الضوضاء. مع أقل من حوالي 1000 عينة، لا يمكن للنموذج تعلم عملية إزالة الضوضاء بشكل جيد، ويكون مولد أبسط مثل المشفر التلقائي المتغير أكثر أمانًا.
الحدود والاعتبارات
- يتطلب مجموعة بيانات كبيرة أو نموذجًا مدربًا مسبقًا - البيانات الصغيرة تؤدي إلى جودة توليد ضعيفة.
- مطلوبة أجهزة GPU/TPU للتدريب والاستخدام العملي.
- الاستدلال بطيء لأن أخذ العينات يكرر العديد من خطوات إزالة الضوضاء.
- أقل من حوالي 1000 عينة لا يمكن تعلم عملية إزالة الضوضاء بشكل موثوق.
لا تغني شروط المصدر عن المراجعة العلمية المستقلة أو التحقق بواسطة محرك تحليل.
نقاط القوة
- ينتج عينات أعلى جودة وأكثر تنوعًا من نماذج GANs عبر الصور والصوت والجزيئات.
- التدريب مستقر، ويتجنب انهيار الوضع وعدم استقرار الخصومة الذي تعاني منه نماذج GANs.
- متغيرات الانتشار الكامن تجعل توليد الدقة العالية قابلاً للتطبيق حسابيًا.
- يدعم بشكل طبيعي التوليد الشرطي، مثل المطالبات من نص إلى صورة.
التطبيقات
- توليف الصور عالية الدقة وتوليد النص إلى صورة.
- توليد الصوت والكلام.
- توليد هياكل الجزيئات والمواد في الكيمياء والعلوم الطبيعية.
- زيادة البيانات والتوليد الشرطي من الخلفيات المدربة مسبقًا.
كيف يعمل
كيف يعمل
عملية أمامية ثابتة تفسد كل مثال تدريبي عن طريق إضافة كميات صغيرة من ضوضاء غاوسية على مدى خطوات عديدة، حتى تتحول البيانات إلى ضوضاء نقية. لا تحتاج هذه العملية إلى تعلم - فهي تحدد ببساطة المسار من البيانات النظيفة إلى الضوضاء التي سيعكسها النموذج لاحقًا.
الصيغة
q(x_t \mid x_{t-1}) = \mathcal{N}(x_t; \sqrt{1-\beta_t}\,x_{t-1}, \beta_t I)يتم تدريب شبكة عصبية (عادةً U-Net) للتنبؤ بالضوضاء التي تمت إضافتها في خطوة معينة. من خلال تقليل الخطأ التربيعي بين الضوضاء الحقيقية والمتوقعة عبر العديد من الخطوات الزمنية والأمثلة، تتعلم الشبكة كيفية تحويل مدخلات مشوشة خطوة واحدة أقرب إلى البيانات النظيفة.
الصيغة
\mathcal{L} = \mathbb{E}_{t, x_0, \epsilon}\big[\,\lVert \epsilon - \epsilon_\theta(x_t, t) \rVert^2\,\big]لإنشاء عينة جديدة، يبدأ النموذج من ضوضاء عشوائية ويطبق بشكل متكرر خطوة إزالة الضوضاء المتعلمة، وطرح الضوضاء المتوقعة وإضافة حد عشوائي صغير حتى تظهر مخرجات نظيفة. تقوم متغيرات الانتشار الكامن (Stable Diffusion) بتشغيل هذه الحلقة في مساحة كامنة مضغوطة لجعل توليد الدقة العالية قابلاً للتطبيق.
الصيغة
x_{t-1} = \frac{1}{\sqrt{\alpha_t}}\Big(x_t - \frac{\beta_t}{\sqrt{1-\bar{\alpha}_t}}\,\epsilon_\theta(x_t, t)\Big) + \sigma_t zالأخطاء الشائعة
- محاولة التدريب من الصفر على مجموعة بيانات صغيرة بدلاً من ضبط نموذج مدرب مسبقًا.
- التقليل من تقدير الحوسبة: يتطلب التدريب وحتى الاستدلال موارد GPU/TPU.
- توقع مخرجات في الوقت الفعلي عندما تجعل أخذ العينات متعدد الخطوات الاستدلال بطيئًا بطبيعته.
- استخدام نموذج انتشار حيث يكفي مولد أبسط بكثير (مثل VAE) للبيانات المتاحة.
الأسئلة الشائعة
كيف يختلف نموذج الانتشار عن نموذج GAN؟
كلاهما توليدي، لكن نموذج GAN يدرب مولدًا ضد مميز، والذي يمكن أن يكون غير مستقر وعرضة لانهيار الوضع. بدلاً من ذلك، يتعلم نموذج الانتشار عكس عملية تشويش خطوة بخطوة، مما يوفر تدريبًا أكثر استقرارًا وعينات ذات جودة أعلى وتنوعًا عادةً.
ما مقدار البيانات التي أحتاجها؟
يحتاج التدريب من الصفر عمومًا إلى حوالي 1000 عينة أو أكثر؛ أقل من ذلك لا يمكن تعلم عملية إزالة الضوضاء بشكل جيد. مع البيانات القليلة، قم بضبط نموذج مدرب مسبقًا أو استخدم مولدًا أبسط مثل المشفر التلقائي المتغير.
لماذا الاستدلال بطيء؟
يبدأ أخذ العينات من الضوضاء ويطبق خطوة إزالة الضوضاء المتعلمة عدة مرات بالتتابع، لذا فإن إنتاج عينة واحدة يتطلب العديد من تمريرات الشبكة. تقلل متغيرات الانتشار الكامن من التكلفة عن طريق العمل في مساحة كامنة مضغوطة.
هل أحتاج إلى أجهزة خاصة؟
نعم. تتطلب نماذج الانتشار أجهزة GPU أو TPU للتدريب والاستدلال العملي؛ الاستخدام بوحدة المعالجة المركزية فقط غير عملي بشكل عام.
طرق ذات صلة
المصادر
Ho, J., Jain, A. & Abbeel, P. (2020). Denoising Diffusion Probabilistic Models. NeurIPS.
افتح مرجع المنشورتم النسخ.Rombach, R., Blattmann, A., Lorenz, D., Esser, P. & Ommer, B. (2022). High-Resolution Image Synthesis with Latent Diffusion Models. CVPR.
افتح مرجع المنشورتم النسخ.