[论文解读] RC-DARTS: Resource Constrained Differentiable Architecture Search

Xiaojie Jin, Jiang Wang+5 more|arXiv (Cornell University)|Dec 30, 2019

Advanced Neural Network Applications参考文献 38被引用 25

一句话总结

RC-DARTS 提出了一种可微架构搜索框架，通过使用迭代投影算法求解约束优化问题，在用户定义的资源约束（如 FLOPs 和模型大小）下优化神经架构。该方法在 CIFAR-10 和 ImageNet 上实现了显著更小、更快的模型，并取得了最先进（SOTA）的准确率，在效率-准确率权衡方面优于现有的 NAS 方法和手工设计的轻量化网络。

ABSTRACT

Recent advances show that Neural Architectural Search (NAS) method is able to find state-of-the-art image classification deep architectures. In this paper, we consider the one-shot NAS problem for resource constrained applications. This problem is of great interest because it is critical to choose different architectures according to task complexity when the resource is constrained. Previous techniques are either too slow for one-shot learning or does not take the resource constraint into consideration. In this paper, we propose the resource constrained differentiable architecture search (RC-DARTS) method to learn architectures that are significantly smaller and faster while achieving comparable accuracy. Specifically, we propose to formulate the RC-DARTS task as a constrained optimization problem by adding the resource constraint. An iterative projection method is proposed to solve the given constrained optimization problem. We also propose a multi-level search strategy to enable layers at different depths to adaptively learn different types of neural architectures. Through extensive experiments on the Cifar10 and ImageNet datasets, we show that the RC-DARTS method learns lightweight neural architectures which have smaller model size and lower computational complexity while achieving comparable or better performances than the state-of-the-art methods.

研究动机与目标

• 为解决现有一次性 NAS 方法中效率低下且缺乏资源感知的问题，特别是依赖黑箱优化的方法。
• 将神经架构搜索建模为一个约束优化问题，以在准确率与用户定义的资源限制（如 FLOPs、模型大小）之间取得平衡。
• 开发一种端到端、一次性训练框架，利用基于梯度的优化，在架构搜索过程中尊重资源约束。
• 通过引入一种多层级搜索策略，根据网络深度自适应调整架构选择，从而提升搜索效率与架构质量。
• 证明自动搜索的架构在准确率与效率权衡方面可超越手工设计的轻量化模型。

提出的方法

• 通过在标准 DARTS 目标中增加资源约束（如 FLOPs、模型大小），将 NAS 问题形式化为约束优化任务。
• 引入一种迭代投影算法，在训练过程中强制执行资源约束，即在每次优化步骤中将架构参数投影到由约束定义的可行集上。
• 提出一种多层级搜索策略，使不同深度的层能够学习不同的架构操作，以反映其对整体模型大小和 FLOPs 的不同贡献。
• 设计一种新型的相邻单元之间的连接单元，以提升架构表达能力，并实现网络中更优的帕累托最优权衡。
• 通过连续松弛离散资源成本，使约束优化问题具备可微性，从而可通过梯度下降求解。
• 使用标准反向传播联合训练架构与权重，实现高效的一次性架构搜索。

实验结果

研究问题

• RQ1 可微架构搜索能否有效扩展以包含显式的资源约束，如 FLOPs 和模型大小？
• RQ2 如何在不破坏可微性的前提下，将资源约束整合进基于梯度的优化框架？
• RQ3 一种根据网络深度自适应调整架构选择的多层级搜索策略，能否改善准确率-效率权衡？
• RQ4 所提出的迭代投影方法是否能有效强制执行资源约束，同时保持高验证准确率？
• RQ5 自动搜索的架构能否在准确率、模型大小和计算成本方面，优于手工设计的轻量化模型以及无约束的 NAS 方法？

主要发现

• RC-DARTS 在 CIFAR-10 和 ImageNet 上的准确率、模型大小和 FLOPs 方面均达到最先进水平，优于现有 NAS 和手工模型。
• 该方法学习到的轻量化架构显著小于且快于基线模型，同时保持或提升了准确率。
• 迭代投影算法在训练过程中成功强制执行了资源约束，使模型收敛至可行且高性能的架构。
• 多层级搜索策略使深层网络采用更复杂的操作，而浅层网络则使用更简单的操作，从而整体提升了效率。
• 新型连接单元设计促进了网络中更优的帕累托最优架构，增强了准确率-复杂度权衡。
• 与黑箱 NAS 及无约束可微搜索（如 DARTS）相比，RC-DARTS 在严格资源限制下展现出更优的搜索效率与架构质量。