神经架构搜索
- 提出者
- Zoph, B. & Le, Q.V.
- 年份
- 2017
- 类型
- Automated architecture optimization (deep learning)
本文为机器翻译,尚未经过审校。 阅读英文原文
它有什么作用?
神经架构搜索(Neural Architecture Search, NAS)由 Zoph 和 Le 于 2017 年提出,它自动优化网络深度、宽度和连接结构等架构决策,而非手动设计。该领域的领先方法包括 DARTS、ENAS 和 Once-for-All。
方法背后的直觉
手动设计深度网络意味着猜测要堆叠多少层、每层应有多宽以及它们应如何连接——这是一个缓慢的试错过程。NAS 将这种手艺转化为一个搜索问题:计算机探索候选架构的定义空间,对其进行评分,并收敛于一个表现良好的设计,从而使架构被发现而非猜测。
历史学
神经架构搜索由 Barret Zoph 和 Quoc V. Le 于 2017 年提出,他们使用强化学习让控制器提出网络架构。这种方法的高成本推动了一波更高效的方法:ENAS 引入了候选架构之间的权重共享,DARTS(Liu 等人,2019)使搜索可微分,因此可以通过梯度下降进行优化,而 Once-for-All 训练了一个单一的超网络,从中可以提取专门的子网络。这些进展共同将 NAS 从一个需要巨大计算量的研究好奇心转变为一个更实用的自动化模型设计工具。
何时使用
当您需要为连续或文本数据的预测或分类设计高性能深度网络时,请使用 NAS;您拥有大型数据集(大约 1000 个观测值或更多),搜索空间定义良好,并且有可用的 GPU/TPU 资源和大量计算预算。在小样本情况下,搜索空间无法可靠评估,候选架构会过拟合;低于约 1000 个观测值时,随机森林是更安全的选择,低于 500 个观测值时,梯度提升等标准模型更可取。
局限与注意事项
- 需要大量的计算预算,通常还需要 GPU/TPU 集群。
- 需要大型数据集(约 1000 个以上观测值)才能可靠评估候选架构。
- 质量在很大程度上取决于定义良好的搜索空间,而这本身就需要专业知识。
- 在小数据上,候选架构会过拟合,搜索变得不可靠。
来源中的条件不能替代独立的科学审查或分析引擎的验证。
优势
- 自动化架构设计,消除缓慢的手动试错。
- 可以发现比目标任务上手工设计的网络性能更好的网络。
- 对数据假设少:没有正态性要求;处理连续和文本输入。
- 一旦指定了搜索空间,就可以灵活应用于各种任务和数据结构。
- 权重共享和超网络变体(ENAS、Once-for-All)大大降低了搜索成本。
应用
- 自动设计高性能图像分类网络。
- 优化大型表格或序列数据上的预测任务架构。
- 搜索针对硬件预算(例如移动或边缘设备)量身定制的高效子网络。
- 手动架构调整不切实际的自动化模型设计。
使用方式
使用方式
首先定义一个搜索空间——即程序允许考虑的架构选择集合,例如层数、每层的宽度、候选操作以及块如何连接。定义良好的搜索空间至关重要:如果它太窄,则会排除好的设计;如果它太宽,则搜索将变得难以处理。
然后,搜索策略探索此空间以找到强大的架构。早期的 NAS 使用强化学习来提出架构(Zoph 和 Le),而 DARTS 通过将离散选择放宽为连续权重,使搜索可微分,因此梯度下降可以根据验证损失优化架构参数。此阶段计算量大,通常需要 GPU 或 TPU 集群以及大量的计算预算。
公式
\alpha^* = \arg\min_{\alpha} \; \mathcal{L}_{val}\big(w^*(\alpha), \alpha\big)每个候选架构都在数据上进行训练和评估,然后选择表现最佳的设计并对其进行完整训练。由于评估许多候选架构成本高昂,ENAS 等方法在候选架构之间共享权重,而 Once-for-All 训练一个单一的超网络,从中可以提取许多子架构,从而大大降低了搜索成本。
常见陷阱
- 在小型数据集上运行 NAS,导致候选架构过拟合,排名毫无意义。
- 定义的搜索空间太宽而无法探索,或太窄而无法包含好的设计。
- 低估计算成本,并在收敛之前停止搜索。
- 在验证集上选择架构,但未重新训练和干净地测试它。
- 当标准模型足以解决问题时,却强行使用 NAS。
常见问题
NAS 与超参数调优有何不同?
超参数调优调整固定架构的设置,例如学习率或树的数量。NAS 搜索架构本身——层数和宽度、操作以及它们如何连接——发现网络结构,而不仅仅是调整选定的结构。
为什么 NAS 的计算成本如此之高?
朴素的 NAS 训练和评估许多候选架构,每个架构都是一个完整的深度网络。这通常需要 GPU 或 TPU 集群以及大量的预算。ENAS(权重共享)和 Once-for-All(单一超网络)等方法就是为了降低这一成本而开发的。
NAS 需要多少数据?
NAS 需要大型数据集,大约 1000 个观测值或更多。如果少于约 1000 个观测值,搜索空间无法可靠评估,候选架构会过拟合,因此随机森林更安全;低于 500 个观测值时,梯度提升等标准模型更可取。
DARTS 有何贡献?
DARTS 通过将离散的操作选择放宽为连续权重,使搜索可微分,因此架构可以通过梯度下降而不是强化学习进行优化。这使得架构搜索比最初的强化学习方法快得多。