Нейросетевой поиск архитектур
- Автор метода
- Zoph, B. & Le, Q.V.
- Год
- 2017
- Тип
- Automated architecture optimization (deep learning)
Этот текст переведён машинным способом и ещё не проверен. Читать оригинал на английском
Что он делает?
Нейросетевой поиск архитектур (Neural Architecture Search, NAS), предложенный Zoph и Le в 2017 году, автоматически оптимизирует архитектурные решения, такие как глубина, ширина и структура связей сети, вместо их ручного проектирования.
Ведущие методы в этой области включают DARTS, ENAS и Once-for-All.
Интуиция метода
Проектирование глубокой сети вручную означает угадывание количества слоев для стекирования, их ширины и способов соединения — это медленный процесс проб и ошибок. NAS превращает этот процесс в задачу поиска: компьютер исследует определенное пространство кандидатных архитектур, оценивает их и сходится к дизайну, который хорошо работает, так что архитектура обнаруживается, а не угадывается.
История
Нейросетевой поиск архитектур был представлен Barret Zoph и Quoc V. Le в 2017 году, которые использовали обучение с подкреплением для того, чтобы контроллер предлагал архитектуры сетей. Высокая стоимость этого подхода привела к появлению множества более эффективных методов: ENAS представил разделение весов между кандидатами, DARTS (Liu et al., 2019) сделал поиск дифференцируемым, чтобы его можно было оптимизировать с помощью градиентного спуска, а Once-for-All обучил единую суперсеть, из которой можно было извлекать специализированные подсети. Вместе эти достижения превратили NAS из исследовательского курьеза, требующего огромных вычислительных ресурсов, в более практичный инструмент для автоматизированного проектирования моделей.
Когда применять
Используйте NAS, когда вам нужно спроектировать высокопроизводительную глубокую сеть для прогнозирования или классификации на непрерывных данных или текстовых данных, у вас есть большой набор данных (примерно 1000 наблюдений или более), пространство поиска хорошо определено, и доступен большой вычислительный бюджет с ресурсами GPU/TPU. При малых выборках пространство поиска не может быть надежно оценено, и кандидатные архитектуры переобучаются; при менее чем 1000 наблюдений случайный лес является более безопасным выбором, а при менее чем 500 предпочтительнее стандартная модель, такая как градиентный бустинг.
Ограничения и замечания
- Требует большого вычислительного бюджета и часто кластера GPU/TPU.
- Нужен большой набор данных (около 1000+ наблюдений) для надежной оценки кандидатов.
- Качество сильно зависит от хорошо определенного пространства поиска, что само по себе требует экспертизы.
- На малых данных кандидатные архитектуры переобучаются, и поиск становится ненадежным.
Условия из источника не заменяют независимую научную проверку или валидацию аналитическим движком.
Сильные стороны
- Автоматизирует проектирование архитектуры, устраняя медленный ручной метод проб и ошибок.
- Может обнаруживать сети, которые превосходят вручную разработанные дизайны для целевой задачи.
- Минимальные предположения о данных: нет требования нормальности; обрабатывает непрерывные и текстовые входные данные.
- Гибкость в отношении задач и структур данных после спецификации пространства поиска.
- Варианты с разделением весов и суперсетью (ENAS, Once-for-All) резко снижают стоимость поиска.
Применение
- Автоматическое проектирование высокопроизводительных сетей для классификации изображений.
- Оптимизация архитектур для задач прогнозирования на больших табличных или последовательных данных.
- Поиск эффективных подсетей, адаптированных к аппаратным ограничениям (например, мобильным или периферийным устройствам).
- Автоматизированное проектирование моделей, где ручная настройка архитектуры непрактична.
Как это работает
Как это работает
Сначала определяется пространство поиска — набор архитектурных решений, которые процедура может рассматривать, таких как количество слоев, ширина каждого слоя, кандидатные операции и способы соединения блоков. Хорошо определенное пространство поиска имеет важное значение: если оно слишком узкое, оно исключает хорошие дизайны, а если оно слишком широкое, поиск становится неразрешимым.
Затем стратегия поиска исследует это пространство для нахождения сильной архитектуры. Ранние NAS использовали обучение с подкреплением для предложения архитектур (Zoph и Le), в то время как DARTS сделал поиск дифференцируемым, релаксируя дискретные выборы в непрерывные веса, так что градиентный спуск может оптимизировать параметры архитектуры по ошибке валидации. Этот этап требует больших вычислительных ресурсов и обычно нуждается в кластере GPU или TPU и значительном вычислительном бюджете.
Формула
\alpha^* = \arg\min_{\alpha} \; \mathcal{L}_{val}\big(w^*(\alpha), \alpha\big)Каждая кандидатная архитектура обучается и оценивается на данных, и выбирается лучший дизайн, который затем обучается до завершения. Поскольку оценка многих кандидатов является дорогостоящей, такие методы, как ENAS, разделяют веса между кандидатами, а Once-for-All обучает единую суперсеть, из которой можно извлечь множество под-архитектур, что значительно снижает стоимость поиска.
Частые ошибки
- Запуск NAS на малом наборе данных, где кандидаты переобучаются, а ранжирование бессмысленно.
- Определение пространства поиска, которое слишком широко для исследования или слишком узко, чтобы содержать хорошие дизайны.
- Недооценка стоимости вычислений и остановка поиска до его сходимости.
- Выбор архитектуры на валидационном разделе без последующего переобучения и чистого тестирования.
- Применение NAS, когда стандартная модель уже была бы достаточной для решения проблемы.
Часто задаваемые вопросы
Чем NAS отличается от настройки гиперпараметров?
Настройка гиперпараметров корректирует параметры фиксированной архитектуры, такие как скорость обучения или количество деревьев. NAS ищет саму архитектуру — количество и ширину слоев, операции и их соединения — открывая структуру сети, а не просто настраивая выбранную.
Почему NAS так вычислительно затратен?
Наивный NAS обучает и оценивает множество кандидатных архитектур, каждая из которых является полной глубокой сетью. Это обычно требует кластера GPU или TPU и большого бюджета. Методы, такие как ENAS (разделение весов) и Once-for-All (единая суперсеть), были разработаны специально для снижения этой стоимости.
Сколько данных мне нужно для NAS?
NAS ожидает большой набор данных, примерно 1000 наблюдений или более. При менее чем 1000 наблюдений пространство поиска не может быть надежно оценено, и кандидаты переобучаются, поэтому случайный лес является более безопасным выбором; при менее чем 500 наблюдений предпочтительнее стандартная модель, такая как градиентный бустинг.
Что представляет собой вклад DARTS?
DARTS делает поиск дифференцируемым, релаксируя дискретный выбор операций в непрерывные веса, так что архитектура может быть оптимизирована с помощью градиентного спуска, а не обучения с подкреплением. Это сделало поиск архитектуры намного быстрее, чем первоначальный подход с обучением с подкреплением.
Похожие методы
Источники
Zoph, B. & Le, Q.V. (2017). Neural Architecture Search with Reinforcement Learning. ICLR.
Открыть ссылку на публикациюСкопировано.Liu, H. et al. (2019). DARTS: Differentiable Architecture Search. ICLR.
Открыть ссылку на публикациюСкопировано.