جستجوی معماری عصبی
- معرفیشده توسط
- Zoph, B. & Le, Q.V.
- سال
- 2017
- نوع
- Automated architecture optimization (deep learning)
این متن ترجمه ماشینی است و هنوز بازبینی نشده است. متن اصلی را به انگلیسی بخوانید
چه کاری انجام میدهد؟
جستجوی معماری عصبی (NAS) که توسط زوف و لی در سال ۲۰۱۷ معرفی شد، به جای طراحی دستی، تصمیمات معماری مانند عمق، عرض و ساختار اتصال یک شبکه را به صورت خودکار بهینه میکند. روشهای پیشرو در این زمینه شامل DARTS، ENAS و Once-for-All هستند.
شهود پشت روش
طراحی دستی یک شبکه عمیق به معنای حدس زدن تعداد لایهها برای روی هم چیدن، عرض هر لایه و نحوه اتصال آنها است — یک کار آزمون و خطای کند. NAS این کار را به یک مسئله جستجو تبدیل میکند: یک کامپیوتر فضای تعریفشدهای از معماریهای کاندید را کاوش میکند، به آنها امتیاز میدهد و به طرحی همگرا میشود که عملکرد خوبی دارد، بنابراین معماری به جای حدس زدن، کشف میشود.
تاریخ
جستجوی معماری عصبی توسط بارت زوف و کوک وی. لی در سال ۲۰۱۷ معرفی شد، که از یادگیری تقویتی برای پیشنهاد معماریهای شبکه توسط یک کنترلکننده استفاده کردند. هزینه بالای آن رویکرد، موجی از روشهای کارآمدتر را به دنبال داشت: ENAS اشتراک وزن را بین کاندیدها معرفی کرد، DARTS (Liu و همکاران، ۲۰۱۹) جستجو را قابل افتراق ساخت تا بتوان آن را با گرادیان کاهشی بهینه کرد، و Once-for-All یک ابرشبکه واحد را آموزش داد که از آن میتوان زیرشبکههای تخصصی را استخراج کرد. این پیشرفتها در مجموع NAS را از یک کنجکاوی تحقیقاتی نیازمند محاسبات عظیم به ابزاری عملیتر برای طراحی خودکار مدل تبدیل کردند.
چه زمانی استفاده شود
زمانی از NAS استفاده کنید که نیاز به طراحی یک شبکه عمیق با عملکرد بالا برای پیشبینی یا طبقهبندی بر روی دادههای پیوسته یا متنی دارید، یک مجموعه داده بزرگ (تقریباً ۱۰۰۰ مشاهده یا بیشتر) دارید، فضای جستجو به خوبی تعریف شده است، و یک بودجه محاسباتی بزرگ با منابع GPU/TPU در دسترس است. با نمونههای کوچک، فضای جستجو را نمیتوان به طور قابل اعتماد ارزیابی کرد و معماریهای کاندید بیشبرازش میکنند؛ زیر حدود ۱۰۰۰ مشاهده، یک جنگل تصادفی (Random Forest) انتخاب ایمنتری است، و زیر ۵۰۰، یک مدل استاندارد مانند گرادیان بوستینگ (gradient boosting) ترجیح داده میشود.
محدودیتها و ملاحظات
- به بودجه محاسباتی زیادی و اغلب به یک خوشه GPU/TPU نیاز دارد.
- برای ارزیابی قابل اعتماد کاندیدها به یک مجموعه داده بزرگ (حدود ۱۰۰۰+ مشاهده) نیاز دارد.
- کیفیت به شدت به یک فضای جستجوی خوب تعریفشده بستگی دارد، که خود نیازمند تخصص است.
- در دادههای کوچک، معماریهای کاندید بیشبرازش میکنند و جستجو غیرقابل اعتماد میشود.
شرایط منبع جایگزین بررسی علمی مستقل یا اعتبارسنجی توسط موتور تحلیل نیست.
نقاط قوت
- طراحی معماری را خودکار میکند و آزمون و خطای دستی را از بین میبرد.
- میتواند شبکههایی را کشف کند که در وظیفه هدف از طرحهای دستساز بهتر عمل میکنند.
- فرضیات کمی در مورد دادهها دارد: نیازی به نرمال بودن نیست؛ ورودیهای پیوسته و متنی را مدیریت میکند.
- انعطافپذیر در وظایف و ساختارهای داده پس از مشخص شدن فضای جستجو.
- انواع اشتراک وزن و ابرشبکه (ENAS، Once-for-All) هزینه جستجو را به شدت کاهش میدهند.
کاربردها
- طراحی خودکار شبکههای طبقهبندی تصویر با عملکرد بالا.
- بهینهسازی معماریها برای وظایف پیشبینی بر روی دادههای جدولی یا توالی بزرگ.
- جستجوی زیرشبکههای کارآمد متناسب با بودجههای سختافزاری (مانند موبایل یا لبه).
- طراحی خودکار مدل در جایی که تنظیم دستی معماری غیرعملی است.
چگونه کار میکند
چگونه کار میکند
ابتدا یک فضای جستجو تعریف میشود — مجموعهای از انتخابهای معماری که رویه مجاز به بررسی آنها است، مانند تعداد لایهها، عرض هر لایه، عملیاتهای کاندید و نحوه اتصال بلوکها. یک فضای جستجوی خوب تعریفشده ضروری است: اگر بیش از حد باریک باشد، طرحهای خوب را حذف میکند، و اگر بیش از حد گسترده باشد، جستجو غیرقابل مدیریت میشود.
سپس یک استراتژی جستجو این فضا را برای یافتن یک معماری قوی کاوش میکند. NAS اولیه از یادگیری تقویتی برای پیشنهاد معماریها استفاده میکرد (Zoph و Le)، در حالی که DARTS با ریلکس کردن انتخابهای گسسته به وزنهای پیوسته، جستجو را قابل افتراق ساخت، بنابراین گرادیان کاهشی میتواند پارامترهای معماری را در برابر خطای اعتبارسنجی بهینه کند. این مرحله نیازمند محاسبات سنگین است و معمولاً به یک خوشه GPU یا TPU و بودجه محاسباتی زیادی نیاز دارد.
فرمول
\alpha^* = \arg\min_{\alpha} \; \mathcal{L}_{val}\big(w^*(\alpha), \alpha\big)هر معماری کاندید بر روی دادهها آموزش داده شده و ارزیابی میشود، و بهترین طرح انتخاب شده و تا اتمام آموزش داده میشود. از آنجا که ارزیابی بسیاری از کاندیدها پرهزینه است، روشهایی مانند ENAS وزنها را بین کاندیدها به اشتراک میگذارند و Once-for-All یک ابرشبکه واحد را آموزش میدهد که از آن میتوان بسیاری از زیرمعماریها را استخراج کرد، که به شدت هزینه جستجو را کاهش میدهد.
دامهای رایج
- اجرای NAS بر روی یک مجموعه داده کوچک، که در آن کاندیدها بیشبرازش میکنند و رتبهبندیها بیمعنی هستند.
- تعریف یک فضای جستجو که برای کاوش بیش از حد گسترده یا برای شامل شدن طرحهای خوب بیش از حد باریک است.
- دستکم گرفتن هزینه محاسباتی و توقف جستجو قبل از همگرایی.
- انتخاب یک معماری در تقسیم اعتبارسنجی و عدم آموزش مجدد و آزمایش تمیز آن.
- استفاده از NAS زمانی که یک مدل استاندارد برای مسئله کافی است.
پرسشهای متداول
NAS چه تفاوتی با تنظیم فراپارامترها دارد؟
تنظیم فراپارامترها تنظیمات یک معماری ثابت را تنظیم میکند، مانند نرخ یادگیری یا تعداد درختان. NAS خود معماری را جستجو میکند — تعداد و عرض لایهها، عملیاتها و نحوه اتصال آنها — ساختار شبکه را کشف میکند نه فقط تنظیم یک ساختار انتخابشده.
چرا NAS از نظر محاسباتی اینقدر گران است؟
NAS ساده بسیاری از معماریهای کاندید را آموزش داده و ارزیابی میکند، که هر یک یک شبکه عمیق کامل است. این معمولاً به یک خوشه GPU یا TPU و بودجه زیادی نیاز دارد. روشهایی مانند ENAS (اشتراک وزن) و Once-for-All (یک ابرشبکه واحد) به طور خاص برای کاهش این هزینه توسعه یافتند.
برای NAS به چه مقدار داده نیاز دارم؟
NAS انتظار یک مجموعه داده بزرگ، تقریباً ۱۰۰۰ مشاهده یا بیشتر را دارد. با کمتر از حدود ۱۰۰۰، فضای جستجو را نمیتوان به طور قابل اعتماد ارزیابی کرد و کاندیدها بیشبرازش میکنند، بنابراین یک جنگل تصادفی ایمنتر است؛ زیر ۵۰۰، یک مدل استاندارد مانند گرادیان بوستینگ ترجیح داده میشود.
DARTS چه کمکی میکند؟
DARTS با ریلکس کردن انتخاب گسسته عملیاتها به وزنهای پیوسته، جستجو را قابل افتراق میسازد، بنابراین معماری را میتوان با گرادیان کاهشی به جای یادگیری تقویتی بهینه کرد. این کار جستجوی معماری را بسیار سریعتر از رویکرد اصلی یادگیری تقویتی کرد.
روشهای مرتبط
منابع
Zoph, B. & Le, Q.V. (2017). Neural Architecture Search with Reinforcement Learning. ICLR.
باز کردن مرجع انتشارکپی شد.Liu, H. et al. (2019). DARTS: Differentiable Architecture Search. ICLR.
باز کردن مرجع انتشارکپی شد.