الانتقال إلى المحتوى
العودة إلى نتائج البحث

شبكة الكبسولة

قدّمه
Sabour, S., Frosst, N. & Hinton, G. E.
السنة
2017
النوع
Deep learning architecture (vector capsules with dynamic routing)

هذا النص ترجمة آلية ولم تتم مراجعته بعد. اقرأ النص الأصلي بالإنجليزية

حجم الخط

ماذا تفعل؟

شبكة الكبسولة (CapsNet) هي بنية تعلم عميق قدمتها سارة صبور ونيكولاس فروست وجيفري هينتون في عام 2017، والتي تنظم الخلايا العصبية كمتجهات (كبسولات) بدلاً من تفعيلاتها العددية، بحيث يتم ترميز التسلسل الهرمي المكاني ومعلومات الوضع (الاتجاه) مباشرة. تم اقتراحها للتغلب على هشاشة الشبكات الالتفافية تجاه تغيرات زاوية الرؤية.

الفكرة الحدسية وراء الطريقة

تكتشف الشبكة الالتفافية القياسية ما إذا كانت الميزة موجودة ولكنها تتجاهل الكثير من علاقتها المكانية الدقيقة بالميزات الأخرى، مما يجعلها هشة عندما يتم تدوير كائن أو رؤيته من زاوية جديدة. تستبدل الكبسولة خلية عصبية عددية واحدة بمتجه صغير: طوله يشير إلى احتمال وجود كيان واتجاهه يرمّز خصائص هذا الكيان، مثل الوضع والاتجاه. نظرًا لأن الكبسولات تحمل هذه المعلومات الأكثر ثراءً، يمكن للشبكة الاستدلال على كيفية ارتباط الأجزاء بالكل بدلاً من مجرد ما إذا كانت الأجزاء تظهر.

التاريخ

تم تقديم شبكات الكبسولة بواسطة سارة صبور ونيكولاس فروست وجيفري هينتون في ورقة NeurIPS لعام 2017 بعنوان Dynamic Routing Between Capsules، مدفوعة بقيود الشبكات الالتفافية في التعامل مع تباين زاوية الرؤية. في عام 2018، وسع هينتون وصابور وفروست الفكرة في ICLR مع Matrix Capsules with EM Routing، مستبدلين مخطط التوجيه الأصلي بإجراء تقدير-تعظيم (EM) على كبسولات ذات قيم مصفوفة.

متى تُستخدم

مناسبة للتصنيف والتنبؤ على بيانات الصور أو البيانات المستمرة ذات الميزات المنظمة الأخرى حيث تكون المتانة لتغيرات زاوية الرؤية والوضع مهمة، مع عينة كبيرة إلى حد ما (حوالي 500 ملاحظة على الأقل). يوصى باستخدام وحدة معالجة الرسومات (GPU) ويجب ضبط خوارزمية التوجيه الديناميكي. أقل من حوالي 500 ملاحظة، لا يمكن للتوجيه أن يتعلم بشكل موثوق والنموذج يفرط في التجهيز؛ أقل من حوالي 200، يكون المصنف الكلاسيكي مثل الغابة العشوائية أو آلة المتجهات الداعمة (SVM) هو الخيار الأفضل.

الحدود والاعتبارات

  • تتطلب عينة كبيرة إلى حد ما (حوالي 500+ ملاحظة)؛ على البيانات الأصغر، يفرط التوجيه الديناميكي في التجهيز ويتعلم بشكل غير موثوق.
  • التوجيه الديناميكي التكراري يتطلب موارد حسابية كبيرة ويوصى باستخدام وحدة معالجة الرسومات (GPU).
  • يقدم خوارزمية التوجيه معلمات فائقة يجب ضبطها، مما يزيد من تعقيد التدريب.

لا تغني شروط المصدر عن المراجعة العلمية المستقلة أو التحقق بواسطة محرك تحليل.

نقاط القوة

  • ترمّز معلومات الوضع والتسلسل الهرمي المكاني التي يتجاهلها التجميع الالتفافي، مما يحسن المتانة لتغيرات زاوية الرؤية.
  • تنمذج علاقات صريحة بين الأجزاء والكل من خلال التوجيه بالاتفاق.
  • تحافظ كبسولات المتجهات على خصائص الكيان (الاتجاه، الموضع) بدلاً من اختزالها إلى تفعيل واحد.

التطبيقات

  • تصنيف الصور الذي يجب أن يكون متينًا لتغيرات زاوية الرؤية أو الدوران أو الوضع.
  • مهام التعرف حيث يحسن نمذجة العلاقات المكانية بين الأجزاء والكل التعميم.
  • التصنيف والتنبؤ على مدخلات الميزات المستمرة المنظمة مع بيانات تدريب كافية.

كيف يعمل

كيف يعمل

1

بدلاً من الخلايا العصبية العددية، تجمع الشبكة الوحدات في كبسولات - متجهات قصيرة يمثل طولها احتمال وجود كيان معين ويشفر اتجاهها معلمات تجسيدها مثل الوضع. تكتشف الكبسولات ذات المستوى الأدنى الأجزاء، بينما تمثل الكبسولات ذات المستوى الأعلى الكل الذي تشكله تلك الأجزاء.

2

خوارزمية توجيه ديناميكي بالاتفاق تربط الكبسولات ذات المستوى الأدنى بالكبسولات ذات المستوى الأعلى. كل كبسولة ذات مستوى أدنى تقوم بتنبؤ لمخرجات كل كبسولة ذات مستوى أعلى عبر مصفوفة تحويل؛ ثم يتم تحسين معاملات الاقتران بشكل تكراري بحيث تعزز التنبؤات التي تتفق مع بعضها البعض. يجب ضبط هذا التوجيه ويحل محل خطوة التجميع للشبكة الالتفافية بتوافق صريح بين الأجزاء والكل.

الصيغة
\hat{u}_{j|i} = W_{ij}\,u_i,\quad s_j = \sum_i c_{ij}\,\hat{u}_{j|i}
3

وظيفة سحق غير خطية تتقلص المتجهات القصيرة نحو الصفر والمتجهات الطويلة نحو طول الوحدة، بحيث يظل مقدار الكبسولة الخارجة احتمالًا صالحًا بينما يحافظ اتجاهها على خصائص الكيان. تعطي أطوال الكبسولات في الطبقة النهائية تنبؤات الفئة المستخدمة للتصنيف.

الصيغة
v_j = \frac{\lVert s_j\rVert^2}{1+\lVert s_j\rVert^2}\,\frac{s_j}{\lVert s_j\rVert}

الأخطاء الشائعة

  • التدريب على عدد قليل جدًا من الملاحظات (أقل من ~500)، حيث لا يمكن للتوجيه أن يتقارب إلى اقترانات موثوقة.
  • ترك تكرارات التوجيه الديناميكي والاقترانات في الإعدادات الافتراضية بدلاً من ضبطها للمهمة.
  • محاولة التدريب بدون تسريع وحدة معالجة الرسومات (GPU) وقبول تدريب بطيء بشكل باهظ أو غير مكتمل.
  • تطبيق شبكات الكبسولة على مدخلات غير منظمة وغير صورية لم يتم تصميمها لها بدلاً من نموذج كلاسيكي.

الأسئلة الشائعة

كيف تختلف الكبسولة عن الخلية العصبية العادية؟

تنتج الخلية العصبية العادية تفعيلًا عدديًا واحدًا. تنتج الكبسولة متجهًا يمثل طوله احتمال وجود كيان واتجاهه يرمّز خصائص هذا الكيان، مثل الوضع والاتجاه، لذا فهي تحمل معلومات مكانية أغنى بكثير.

ما هو التوجيه الديناميكي؟

التوجيه الديناميكي بالاتفاق هو الخوارزمية التي تربط الكبسولات ذات المستوى الأدنى بالكبسولات ذات المستوى الأعلى. تتنبأ كل كبسولة ذات مستوى أدنى بمخرجات الكبسولات ذات المستوى الأعلى، ويتم تحسين معاملات الاقتران بشكل تكراري بحيث تعزز التنبؤات التي تتفق مع بعضها البعض، مما يحل محل خطوة التجميع للشبكة الالتفافية.

ما مقدار البيانات والحوسبة التي أحتاجها؟

تحتاج شبكات الكبسولة إلى مجموعة بيانات كبيرة إلى حد ما - حوالي 500 ملاحظة على الأقل - ويوصى باستخدام وحدة معالجة الرسومات (GPU) لأن التوجيه التكراري يتطلب موارد حسابية كبيرة. أقل من حوالي 200 ملاحظة، يكون المصنف الكلاسيكي مثل الغابة العشوائية أو آلة المتجهات الداعمة (SVM) أكثر ملاءمة.

لماذا نستخدم شبكة كبسولة بدلاً من شبكة التفافية (CNN)؟

تم اقتراح شبكات الكبسولة خصيصًا لمعالجة هشاشة الشبكات الالتفافية تجاه تغيرات زاوية الرؤية. من خلال الحفاظ على العلاقات بين الوضع والأجزاء والكل بدلاً من تجميعها بعيدًا، يمكنها التعميم بشكل أفضل عندما تظهر الكائنات في اتجاهات جديدة.

طرق ذات صلة

المصادر

  1. Sabour, S., Frosst, N. & Hinton, G. E. (2017). Dynamic Routing Between Capsules. Advances in Neural Information Processing Systems (NeurIPS).

    افتح مرجع المنشور
    تم النسخ.
  2. Hinton, G. E., Sabour, S. & Frosst, N. (2018). Matrix Capsules with EM Routing. International Conference on Learning Representations (ICLR).

    افتح مرجع المنشور
    تم النسخ.