[论文解读] ScarletNAS: Bridging the Gap Between Scalability and Fairness in Neural Architecture Search.

Xiangxiang Chu, Bo Zhang+3 more|arXiv (Cornell University)|Aug 16, 2019

Domain Adaptation and Few-Shot Learning被引用 30

一句话总结

ScarletNAS 提出一种可学习的等变稳定器，以解决神经架构搜索中跳跃连接引起的特征不一致问题，实现可扩展、公平且准确的超网络训练。通过稳定子网络之间的特征分布，它提升了超网络的收敛性和排序性能，从而实现了如 SCARLET-A 这类 SOTA 模型，在 ImageNet 上达到 76.9% 的 top-1 准确率，且支持可变深度。

ABSTRACT

To discover powerful yet compact models is an important goal of neural architecture search. Previous two-stage one-shot approaches are limited by search space with a fixed depth. It seems handy to include an additional skip connection in the search space to make depths variable. However, it creates a large range of perturbation during supernet training and it has difficulty giving a confident ranking for subnetworks. In this paper, we discover that skip connections bring about significant feature inconsistency compared with other operations, which potentially degrades the supernet performance. Based on this observation, we tackle the problem by imposing an equivariant learnable stabilizer to homogenize such disparities. Experiments show that our proposed stabilizer helps to improve the supernet's convergence as well as ranking performance. With an evolutionary search backend that incorporates the stabilized supernet as an evaluator, we derive a family of state-of-the-art architectures, the SCARLET series of several depths, especially SCARLET-A obtains 76.9% top-1 accuracy on ImageNet. The models and evaluation code are released online this https URL.

研究动机与目标

• 为解决在使用跳跃连接实现可变深度时，单次 NAS 中出现的不稳定性和排名性能差的问题。
• 减少在超网络训练过程中，跳跃连接引起的特征不一致性。
• 提升超网络收敛性和子网络排序性能，以实现更可靠的架构搜索。
• 实现在多种模型深度下的可扩展、公平且准确的搜索。
• 开发一系列在不同深度下性能一致的 SOTA 模型（SCARLET 系列）。

提出的方法

• 引入一种等变可学习稳定器，以统一各操作之间的特征分布，尤其能有效缓解跳跃连接带来的差异。
• 在超网络训练过程中应用该稳定器，以减少扰动并提升特征一致性。
• 将稳定后的超网络作为评估器，集成到进化搜索流程中，用于架构发现。
• 设计一个支持通过动态跳跃连接实现可变深度的搜索空间，同时保持训练稳定性。
• 使用稳定器训练超网络，以增强收敛性并提升子网络排序的置信度。
• 将进化得到的架构作为 SCARLET 系列，针对多种深度进行准确率与效率的优化。

实验结果

研究问题

• RQ1 跳跃连接如何引入特征不一致，从而降低单次 NAS 中超网络的性能？
• RQ2 可学习的稳定器是否能缓解超网络中由跳跃连接引起的特征分布差异？
• RQ3 所提出的稳定器是否能提升超网络的收敛性和子网络排序的可靠性？
• RQ4 稳定后的超网络是否能实现在多种深度下的公平且可扩展的架构搜索？
• RQ5 基于该方法得到的架构在 ImageNet 等标准基准上能达到何种准确率？

主要发现

• 可学习稳定器能有效减少由跳跃连接引起的特征不一致，提升训练稳定性。
• 引入稳定器后，超网络收敛性显著增强，从而实现更可靠的子网络性能估计。
• 由于扰动减少和特征分布更一致，子网络排序性能得到提升。
• SCARLET-A 模型在 ImageNet 上达到 76.9% 的 top-1 准确率，创下高效模型的新 SOTA 记录。
• SCARLET 系列在多种深度下均表现出色，证实了搜索过程的可扩展性与公平性。
• 该方法使基于稳定超网络的进化搜索更加高效，成功生成高准确率架构。