المشفّر التلقائي التبايني
- قدّمه
- Kingma, D. P. & Welling, M.
- السنة
- 2014
- النوع
- Deep generative latent-variable model (encoder–decoder)
هذا النص ترجمة آلية ولم تتم مراجعته بعد. اقرأ النص الأصلي بالإنجليزية
ماذا تفعل؟
المشفّر التلقائي التبايني (VAE) هو نموذج توليدي عميق ذو متغيرات كامنة، قدمه ديدريك كينغما وماكس ويلينغ في عام 2014، يقوم بترميز البيانات كتوزيع احتمالي في فضاء كامن ويأخذ عينات من هذا التوزيع لتوليد أمثلة جديدة. يُستخدم لتوليد البيانات، واكتشاف الشذوذ، وتعلم الميزات.
الفكرة الحدسية وراء الطريقة
يقوم المشفّر التلقائي العادي بضغط كل مدخل إلى نقطة واحدة في فضاء مضغوط، وهو أمر جيد لإعادة البناء ولكنه لا يترك طريقة مبدئية لإنشاء بيانات جديدة. بدلاً من ذلك، يقوم المشفّر التلقائي التبايني بربط كل مدخل بسحابة احتمالية صغيرة — متوسط وانتشار — ويجبر هذه السحب على البقاء قريبة من توزيع مرجعي بسيط. ولأن الفضاء الكامن يكون حينئذٍ سلسًا ومستمرًا، يمكنك سحب نقطة جديدة منه ويقوم المشفّر بفك تشفيرها إلى مثال جديد تمامًا ومعقول.
التاريخ
تم تقديم المشفّر التلقائي التبايني (Variational Autoencoder) بواسطة ديدريك كينغما وماكس ويلينغ في عام 2014 في ورقة بحثية بعنوان 'Auto-Encoding Variational Bayes'، والتي جمعت بين الاستدلال التبايني وشبكات المشفّرات والمفكّرات العصبية وقدمت حيلة إعادة المعايرة التي جعلت النموذج قابلاً للتدريب من البداية إلى النهاية. في عام 2017، اقترح هيغينز وزملاؤه بيتا-VAE، الذي يعيد وزن حد كولباك-لايبلر بمعامل لتشجيع عوامل كامنة أكثر فك ارتباطًا. أصبح المشفّر التلقائي التبايني أحد النماذج التوليدية العميقة الأساسية، إلى جانب الشبكات التوليدية التنافسية (GANs)، ومؤخرًا، نماذج الانتشار.
متى تُستخدم
مناسب عندما يكون لديك ما لا يقل عن 200 ملاحظة ذات قيم مستمرة وترغب في تعلم تمثيل كامن سلس لتوليد بيانات جديدة، أو اكتشاف الشذوذ، أو ضغط المدخلات عالية الأبعاد، وعند توفر وحدة معالجة رسوميات (GPU) للتدريب. يفترض النموذج متغيرًا كامنًا مستمرًا ويتم تدريبه عن طريق التحسين المشترك لخسارة إعادة البناء وتباعد كولباك-لايبلر. أقل من حوالي 200 عينة، لا يمكن تعلم التوزيع الكامن بشكل ذي معنى، وتُفضل طريقة أبسط مثل تحليل المكونات الرئيسية (PCA)؛ وأقل من حوالي 50 عينة يفشل تمامًا.
الحدود والاعتبارات
- يحتاج إلى عينة كبيرة بشكل معقول (حوالي 200+) وعادةً ما يحتاج إلى وحدة معالجة رسوميات (GPU) للتدريب بفعالية.
- يمكن أن تبدو العينات ضبابية مقارنة بالمولدات التنافسية أو القائمة على الانتشار.
- في مجموعات البيانات الصغيرة، لا يتم تعلم التوزيع الكامن بشكل ذي معنى، لذا فإن تحليل المكونات الرئيسية (PCA) هو الخيار الأكثر أمانًا.
- الموازنة بين حدود إعادة البناء وكولباك-لايبلر دقيقة؛ يمكن أن ينهار حد كولباك-لايبلر ويتم تجاهله.
لا تغني شروط المصدر عن المراجعة العلمية المستقلة أو التحقق بواسطة محرك تحليل.
نقاط القوة
- يتعلم فضاءً كامنًا سلسًا ومستمرًا يمكن أخذ عينات منه لتوليد أمثلة جديدة حقًا.
- يوفر إطارًا احتماليًا مبدئيًا، يحسن هدفًا واحدًا (الحد الأدنى للأدلة).
- مفيد بما يتجاوز التوليد — لاكتشاف الشذوذ، وتعلم الميزات، وتقليل الأبعاد غير الخطية.
- لا يتطلب مدخلات موزعة طبيعيًا ويعمل مع البيانات المستمرة ذات الأبعاد العالية.
- حيلة إعادة المعايرة تجعل النموذج بأكمله قابلاً للتدريب من البداية إلى النهاية عن طريق الانحدار التدرجي.
التطبيقات
- توليد عينات بيانات اصطناعية جديدة من فضاء كامن متعلم.
- اكتشاف الشذوذ والقيم الشاذة عن طريق تحديد المدخلات التي يعيد النموذج بناءها بشكل سيء.
- تقليل الأبعاد غير الخطي وتعلم الميزات على البيانات عالية الأبعاد.
- تعلم التمثيل كخطوة أولية للتنبؤ أو التجميع اللاحق.
كيف يعمل
كيف يعمل
تقوم شبكة المشفّر بقراءة كل مدخل وتُخرج معلمات توزيع على المتغير الكامن — متوسط وتباين — بدلاً من رمز ثابت واحد. هذه هي خطوة الترميز الاحتمالي التي تمثل كل ملاحظة كمنطقة من الفضاء الكامن بدلاً من نقطة واحدة.
الصيغة
q_\phi(z \mid x) = \mathcal{N}(z; \mu_\phi(x), \sigma_\phi^2(x))يتم سحب متجه كامن من التوزيع المشفّر باستخدام حيلة إعادة المعايرة (reparameterisation trick): بدلاً من أخذ العينات مباشرة، يكتب النموذج العينة كمتوسط مضافًا إليه الانحراف المعياري مضروبًا في ضوضاء غاوسية قياسية. ولأن العشوائية تُدفع إلى حد ضوضاء خارجي، يمكن أن تتدفق التدرجات عبر الشبكة ويمكن تدريب النموذج من البداية إلى النهاية.
الصيغة
z = \mu + \sigma \odot \epsilon, \quad \epsilon \sim \mathcal{N}(0, I)تقوم شبكة المشفّر بفك تشفير المتجه الكامن الذي تم أخذ عينة منه إلى فضاء البيانات، ويقوم التدريب بتحسين الحد الأدنى للأدلة (evidence lower bound): وهو حد إعادة بناء يكافئ إعادة بناء المدخل بأمانة، مطروحًا منه حد كولباك-لايبلر (Kullback–Leibler) الذي يسحب كل توزيع مشفّر نحو التوزيع المسبق. إن الموازنة بين هاتين القوتين هي ما ينتج فضاءً كامنًا يعيد البناء جيدًا ويدعم توليد عينات جديدة.
الصيغة
\mathcal{L} = \mathbb{E}_{q_\phi}[\log p_\theta(x \mid z)] - D_{KL}(q_\phi(z \mid x) \,\|\, p(z))الأخطاء الشائعة
- التدريب على عدد قليل جدًا من الملاحظات (أقل من حوالي 200) وتوقع نموذج توليدي ذي معنى.
- تجاهل الانهيار اللاحق، حيث يدفع حد كولباك-لايبلر الرمز الكامن ليكون غير معلوماتي.
- الحكم على النموذج بناءً على حدة إعادة البناء وحدها بدلاً من جودة العينات المولدة.
- تخطي حيلة إعادة المعايرة وكسر تدفق التدرج عبر خطوة أخذ العينات.
- اللجوء إلى المشفّر التلقائي التبايني (VAE) عندما يكون تقليل الأبعاد الخطي البسيط مثل تحليل المكونات الرئيسية (PCA) كافيًا.
الأسئلة الشائعة
ما الفرق بين المشفّر التلقائي التبايني والمشفّر التلقائي العادي؟
يربط المشفّر التلقائي العادي كل مدخل برمز كامن واحد يتم تحسينه فقط لإعادة البناء. بينما يقوم المشفّر التلقائي التبايني بترميز كل مدخل كتوزيع احتمالي ويضيف حد كولباك-لايبلر الذي يحافظ على هذا التوزيع قريبًا من التوزيع المسبق، مما ينتج عنه فضاء كامن سلس يمكنك أخذ عينات منه لتوليد بيانات جديدة.
ما هي حيلة إعادة المعايرة؟
إنها تعيد كتابة عينة كامنة كمتوسط مشفّر مضافًا إليه الانحراف المعياري مضروبًا في ضوضاء غاوسية قياسية. عن طريق نقل العشوائية إلى حد ضوضاء خارجي، يمكن أن تمر التدرجات عبر خطوة أخذ العينات بحيث يمكن تدريب المشفّر والمفكّر معًا عن طريق الانتشار العكسي.
ما مقدار البيانات والأجهزة التي أحتاجها؟
يوصى بما لا يقل عن 200 ملاحظة مستمرة، ويُنصح بوحدة معالجة رسوميات (GPU) للتدريب. أقل من 200، لا يتم تعلم التوزيع الكامن بشكل ذي معنى ويُفضل تحليل المكونات الرئيسية (PCA)؛ وأقل من حوالي 50 يفشل المشفّر التلقائي التبايني تمامًا.
ما هو بيتا-VAE؟
بيتا-VAE، الذي اقترحه هيغينز وزملاؤه في عام 2017، يضرب حد كولباك-لايبلر بمعامل (بيتا). تضغط قيمة بيتا الأكبر على الأبعاد الكامنة لالتقاط عوامل تباين أكثر استقلالية وغير مرتبطة، على حساب بعض دقة إعادة البناء.
طرق ذات صلة
المصادر
Kingma, D. P. & Welling, M. (2014). Auto-Encoding Variational Bayes. International Conference on Learning Representations (ICLR).
افتح مرجع المنشورتم النسخ.Higgins, I. et al. (2017). beta-VAE: Learning Basic Visual Concepts with a Constrained Variational Framework. International Conference on Learning Representations (ICLR).
افتح مرجع المنشورتم النسخ.