[论文解读] Progressive DARTS: Bridging the Optimization Gap for NAS in the Wild

Xin Chen, Lingxi Xie+2 more|arXiv (Cornell University)|Dec 23, 2019

Advanced Neural Network Applications参考文献 48被引用 20

一句话总结

该论文提出了一种新型可微神经架构搜索方法——渐进式 DARTS（P-DARTS），通过在搜索过程中逐步增加超网络的深度，弥合了搜索阶段与评估阶段之间的优化差距。通过引入搜索空间近似和正则化技术以稳定训练并降低计算成本，P-DARTS 仅用单张 GPU 进行 7 小时搜索，就在 CIFAR-10 上实现了 2.50% 的测试误差，达到当前最先进水平，并在 ImageNet、COCO 检测和 ReID 基准上展现出优异的迁移性能。

ABSTRACT

With the rapid development of neural architecture search (NAS), researchers found powerful network architectures for a wide range of vision tasks. However, it remains unclear if the searched architecture can transfer across different types of tasks as manually designed ones did. This paper puts forward this problem, referred to as NAS in the wild, which explores the possibility of finding the optimal architecture in a proxy dataset and then deploying it to mostly unseen scenarios. We instantiate this setting using a currently popular algorithm named differentiable architecture search (DARTS), which often suffers unsatisfying performance while being transferred across different tasks. We argue that the accuracy drop originates from the formulation that uses a super-network for search but a sub-network for re-training. The different properties of these stages have resulted in a significant optimization gap, and consequently, the architectural parameters "over-fit" the super-network. To alleviate the gap, we present a progressive method that gradually increases the network depth during the search stage, which leads to the Progressive DARTS (P-DARTS) algorithm. With a reduced search cost (7 hours on a single GPU), P-DARTS achieves improved performance on both the proxy dataset (CIFAR10) and a few target problems (ImageNet classification, COCO detection and three ReID benchmarks). Our code is available at \url{https://github.com/chenxin061/pdarts}.

研究动机与目标

• 为解决在将架构从代理数据集迁移到未见任务时 NAS 出现的不稳定性和性能下降问题，即所谓的 '野外 NAS' 问题。
• 识别差迁移能力的根本原因在于超网络搜索阶段与子网络评估阶段之间的优化差距。
• 设计一种方法，在搜索过程中通过逐步增加深度，使超网络的特性逐渐与最终评估所用的子网络对齐。
• 通过引入搜索空间近似和正则化技术，降低搜索成本并提升稳定性。
• 在多种视觉任务（包括图像分类、目标检测和行人重识别）中，展示所搜索架构的优越迁移能力。

提出的方法

• 在多个搜索阶段逐步增加超网络的深度，以更好地使其归纳偏置与最终评估所用的子网络对齐。
• 通过在深度增加时减少候选操作的数量，实施搜索空间近似，以控制计算成本。
• 引入操作级别的 Dropout，以减少跳连接操作在训练期间的主导性，防止梯度不稳定。
• 在最终架构选择过程中应用正则化，以抑制对跳连接的过度依赖，提升泛化能力。
• 采用两阶段训练策略：首先训练逐步加深的超网络，然后在目标任务上对最终子网络进行剪枝和微调。
• 以可微神经架构搜索（DARTS）为基础框架，仅修改搜索动态以支持渐进式深度扩展。

实验结果

研究问题

• RQ1 在超网络中采用渐进式深度扩展，能否减少 NAS 中搜索与评估之间的优化差距？
• RQ2 通过近似降低搜索空间复杂度，是否能在降低计算成本的同时保持甚至提升性能？
• RQ3 正则化技术能否缓解深层超网络中因跳连接梯度主导性导致的不稳定性？
• RQ4 在 CIFAR-10 等代理数据集上搜索出的架构，在多大程度上能泛化到如 ImageNet 分类、COCO 检测和 ReID 等多样化下游任务？
• RQ5 搜索数据集与目标数据集之间的领域差距，如何影响所搜索架构的迁移能力？

主要发现

• P-DARTS 在 CIFAR-10 上仅用 340 万参数即达到 2.50% 的最先进测试误差，优于现有方法。
• 搜索成本降低至单张 GPU 上仅 7 小时，结合搜索空间近似后，进一步降至 0.3 GPU 天，效率超过 ENAS。
• 在 ImageNet 分类任务中，基于在 CIFAR-10 上搜索得到的骨干网络 P-DARTS-SSD，在 COCO 检测任务上达到 29.9% AP，优于使用更重骨干网络的模型。
• 在输入尺寸为 512 的目标检测任务中，P-DARTS-SSD 实现 34.1% AP，FLOPs 仅为基于 ResNet-101 的 SSD 的 1/14。
• 在 ReID 基准（Market-1501、DukeMTMC-reID、MSMT17）上，基于 CIFAR-10 搜索得到的 P-DARTS 骨干网络，在更少 FLOPs 和更低特征维度下，性能优于 ResNet-50 和 DARTS 骨干网络。
• 搜索与目标任务之间的领域差距影响迁移能力：在 CIFAR-10 上搜索的架构在 ReID 任务上泛化更好，因其图像质量和分辨率更相似；而基于 ImageNet 搜索的模型在 ReID 任务上表现较差。