البحث عن البنى العصبية (Neural Architecture Search)
- قدّمه
- Zoph, B. & Le, Q.V.
- السنة
- 2017
- النوع
- Automated architecture optimization (deep learning)
هذا النص ترجمة آلية ولم تتم مراجعته بعد. اقرأ النص الأصلي بالإنجليزية
ماذا تفعل؟
البحث الآلي عن البنى العصبية (Neural Architecture Search - NAS)، الذي قدمه Zoph و Le في عام 2017، يحسّن تلقائيًا القرارات المعمارية مثل عمق الشبكة وعرضها وهيكل اتصالها بدلاً من تصميمها يدويًا. تشمل الطرق الرائدة في هذا المجال DARTS و ENAS و Once-for-All.
الفكرة الحدسية وراء الطريقة
تصميم شبكة عميقة يدويًا يعني تخمين عدد الطبقات التي يجب تكديسها، ومدى اتساع كل طبقة، وكيفية اتصالها - وهي حرفة بطيئة تعتمد على التجربة والخطأ. يحول البحث الآلي عن البنى العصبية (NAS) هذه الحرفة إلى مشكلة بحث: يستكشف الحاسوب فضاء محدد من البنى المرشحة، ويقيّمها، ويتقارب نحو تصميم يؤدي بشكل جيد، بحيث يتم اكتشاف البنية بدلاً من تخمينها.
التاريخ
قدم البحث الآلي عن البنى العصبية (Neural Architecture Search - NAS) كل من Barret Zoph و Quoc V. Le في عام 2017، واللذان استخدما التعلم المعزز لجعل وحدة تحكم تقترح هياكل الشبكات. أدت التكلفة العالية لهذا النهج إلى ظهور موجة من الطرق الأكثر كفاءة: قدم ENAS مشاركة الأوزان عبر المرشحين، وجعل DARTS (Liu et al., 2019) البحث قابلاً للتفاضل بحيث يمكن تحسينه بواسطة النزول التدرّجي، ودرب Once-for-All شبكة فائقة واحدة يمكن سحب شبكات فرعية متخصصة منها. معًا، حولت هذه التطورات البحث الآلي عن البنى العصبية (NAS) من فضول بحثي يتطلب موارد حاسوبية هائلة إلى أداة أكثر عملية لتصميم النماذج الآلي.
متى تُستخدم
استخدم البحث الآلي عن البنى العصبية (NAS) عندما تحتاج إلى تصميم شبكة عميقة عالية الأداء للتنبؤ أو التصنيف على بيانات مستمرة أو نصية، ولديك مجموعة بيانات كبيرة (حوالي 1000 ملاحظة أو أكثر)، وفضاء البحث محددة جيدًا، وميزانية حاسوبية كبيرة مع توفر موارد وحدات معالجة الرسوميات (GPU)/وحدات معالجة الموتر (TPU). مع العينات الصغيرة، لا يمكن تقييم فضاء البحث بشكل موثوق وتعاني البنى المرشحة من فرط الملاءمة، وأقل من حوالي 1000 ملاحظة، يعد Random Forest خيارًا أكثر أمانًا، وأقل من 500، يفضل نموذج قياسي مثل تعزيز الانحدار (gradient boosting).
الحدود والاعتبارات
- يتطلب ميزانية حاسوبية كبيرة وغالبًا ما يتطلب مجموعة من وحدات معالجة الرسوميات (GPU)/وحدات معالجة الموتر (TPU).
- يحتاج إلى مجموعة بيانات كبيرة (حوالي 1000+ ملاحظة) لتقييم المرشحين بشكل موثوق.
- تعتمد الجودة بشكل كبير على مساحة بحث محددة جيدًا، والتي تتطلب بحد ذاتها خبرة.
- على البيانات الصغيرة، تعاني البنى المرشحة من فرط الملاءمة ويصبح البحث غير موثوق.
لا تغني شروط المصدر عن المراجعة العلمية المستقلة أو التحقق بواسطة محرك تحليل.
نقاط القوة
- يؤتمت تصميم البنية، مما يزيل التجربة والخطأ اليدوية البطيئة.
- يمكنه اكتشاف شبكات تتفوق على التصاميم المصممة يدويًا في المهمة المستهدفة.
- افتراضات خفيفة على البيانات: لا يوجد شرط للتوزيع الطبيعي؛ يتعامل مع المدخلات المستمرة والنصية.
- مرن عبر المهام وهياكل البيانات بمجرد تحديد فضاء البحث.
- تؤدي متغيرات مشاركة الأوزان والشبكات الفائقة (ENAS، Once-for-All) إلى تقليل تكلفة البحث بشكل حاد.
التطبيقات
- تصميم شبكات تصنيف الصور عالية الأداء تلقائيًا.
- تحسين البنى لمهام التنبؤ على البيانات الجدولية أو التسلسلية الكبيرة.
- البحث عن شبكات فرعية فعالة مصممة خصيصًا لميزانيات الأجهزة (مثل الأجهزة المحمولة أو الطرفية).
- تصميم نماذج آلي حيث يكون ضبط البنية اليدوي غير عملي.
كيف يعمل
كيف يعمل
أولاً، يتم تحديد فضاء البحث - وهي مجموعة الخيارات المعمارية المسموح للإجراء بالنظر فيها، مثل عدد الطبقات، وعرض كل طبقة، والعمليات المرشحة، وكيف يمكن ربط الكتل. يعد تحديد فضاء البحث بشكل جيد أمرًا ضروريًا: إذا كانت ضيقة جدًا فإنها تستبعد التصاميم الجيدة، وإذا كانت واسعة جدًا يصبح البحث غير قابل للمعالجة.
بعد ذلك، تستكشف استراتيجية البحث هذه المساحة للعثور على بنية قوية. استخدم البحث الآلي عن البنى العصبية (NAS) المبكر التعلم المعزز لاقتراح البنى (Zoph و Le)، بينما جعل DARTS البحث قابلاً للتفاضل عن طريق تخفيف الاختيارات المنفصلة إلى أوزان مستمرة، بحيث يمكن تحسين معلمات البنية باستخدام النزول التدرّجي مقابل خسارة التحقق. هذه المرحلة تستهلك الكثير من الموارد الحاسوبية وتحتاج عادةً إلى مجموعة من وحدات معالجة الرسوميات (GPU) أو وحدات معالجة الموتر (TPU) وميزانية حاسوبية كبيرة.
الصيغة
\alpha^* = \arg\min_{\alpha} \; \mathcal{L}_{val}\big(w^*(\alpha), \alpha\big)يتم تدريب كل بنية مرشحة وتقييمها على البيانات، ويتم اختيار التصميم الأفضل أداءً وتدريبه حتى الاكتمال. نظرًا لأن تقييم العديد من المرشحين مكلف، فإن طرقًا مثل ENAS تشارك الأوزان عبر المرشحين، و Once-for-All تدرب شبكة فائقة واحدة يمكن استخلاص العديد من البنى الفرعية منها، مما يقلل بشكل كبير من تكلفة البحث.
الأخطاء الشائعة
- تشغيل البحث الآلي عن البنى العصبية (NAS) على مجموعة بيانات صغيرة، حيث تعاني البنى المرشحة من فرط الملاءمة وتكون التصنيفات لا معنى لها.
- تحديد مساحة بحث واسعة جدًا للاستكشاف أو ضيقة جدًا لاحتواء التصاميم الجيدة.
- التقليل من تقدير التكلفة الحاسوبية وإيقاف البحث قبل التقارب.
- اختيار بنية على تقسيم التحقق وعدم إعادة تدريبها واختبارها بشكل نظيف.
- اللجوء إلى البحث الآلي عن البنى العصبية (NAS) عندما يكون نموذج قياسي كافيًا بالفعل للمشكلة.
الأسئلة الشائعة
كيف يختلف البحث الآلي عن البنى العصبية (NAS) عن ضبط المعلمات الفائقة (hyperparameter tuning)؟
يضبط ضبط المعلمات الفائقة (hyperparameter tuning) إعدادات بنية ثابتة، مثل معدل التعلم أو عدد الأشجار. يبحث البحث الآلي عن البنى العصبية (NAS) في البنية نفسها - عدد وعرض الطبقات، والعمليات، وكيفية اتصالها - مكتشفًا هيكل الشبكة بدلاً من مجرد ضبط بنية مختارة.
لماذا يعتبر البحث الآلي عن البنى العصبية (NAS) مكلفًا حسابيًا للغاية؟
يقوم البحث الآلي عن البنى العصبية (NAS) الخام بتدريب وتقييم العديد من البنى المرشحة، كل منها عبارة عن شبكة عميقة كاملة. يتطلب هذا عادةً مجموعة من وحدات معالجة الرسوميات (GPU) أو وحدات معالجة الموتر (TPU) وميزانية كبيرة. تم تطوير طرق مثل ENAS (مشاركة الأوزان) و Once-for-All (شبكة فائقة واحدة) خصيصًا لخفض هذه التكلفة.
ما مقدار البيانات التي أحتاجها للبحث الآلي عن البنى العصبية (NAS)؟
يتوقع البحث الآلي عن البنى العصبية (NAS) مجموعة بيانات كبيرة، حوالي 1000 ملاحظة أو أكثر. مع أقل من حوالي 1000، لا يمكن تقييم فضاء البحث بشكل موثوق وتعاني المرشحات من فرط الملاءمة، لذا فإن Random Forest أكثر أمانًا؛ وأقل من 500، يفضل نموذج قياسي مثل تعزيز الانحدار (gradient boosting).
ما الذي يساهم به DARTS؟
يجعل DARTS البحث قابلاً للتفاضل عن طريق تخفيف الاختيار المنفصل للعمليات إلى أوزان مستمرة، بحيث يمكن تحسين البنية باستخدام النزول التدرّجي بدلاً من التعلم المعزز. هذا جعل البحث عن البنية أسرع بكثير من النهج الأصلي القائم على التعلم المعزز.
طرق ذات صلة
المصادر
Zoph, B. & Le, Q.V. (2017). Neural Architecture Search with Reinforcement Learning. ICLR.
افتح مرجع المنشورتم النسخ.Liu, H. et al. (2019). DARTS: Differentiable Architecture Search. ICLR.
افتح مرجع المنشورتم النسخ.