[论文解读] Single-Path Mobile AutoML: Efficient ConvNet Design and NAS Hyperparameter Optimization

Dimitrios Stamoulis, Ruizhou Ding+5 more|arXiv (Cornell University)|Jul 1, 2019

Advanced Neural Network Applications参考文献 60被引用 34

一句话总结

本文提出Single-Path NAS，一种可微分神经架构搜索（NAS）方法，通过在每层中将所有候选操作编码到单一共享超核中，消除了多路径开销，将搜索成本降低至3小时以内。该方法在约80ms延迟下实现了75.62%的ImageNet top-1准确率，优于以往的移动端NAS方法，且通过在TPU-v3上仅训练8个周期，将搜索成本降低了高达5,000倍。

ABSTRACT

Can we reduce the search cost of Neural Architecture Search (NAS) from days down to only few hours? NAS methods automate the design of Convolutional Networks (ConvNets) under hardware constraints and they have emerged as key components of AutoML frameworks. However, the NAS problem remains challenging due to the combinatorially large design space and the significant search time (at least 200 GPU-hours). In this work, we alleviate the NAS search cost down to less than 3 hours, while achieving state-of-the-art image classification results under mobile latency constraints. We propose a novel differentiable NAS formulation, namely Single-Path NAS, that uses one single-path over-parameterized ConvNet to encode all architectural decisions based on shared convolutional kernel parameters, hence drastically decreasing the search overhead. Single-Path NAS achieves state-of-the-art top-1 ImageNet accuracy (75.62%), hence outperforming existing mobile NAS methods in similar latency settings (~80ms). In particular, we enhance the accuracy-runtime trade-off in differentiable NAS by treating the Squeeze-and-Excitation path as a fully searchable operation with our novel single-path encoding. Our method has an overall cost of only 8 epochs (24 TPU-hours), which is up to 5,000x faster compared to prior work. Moreover, we study how different NAS formulation choices affect the performance of the designed ConvNets. Furthermore, we exploit the efficiency of our method to answer an interesting question: instead of empirically tuning the hyperparameters of the NAS solver (as in prior work), can we automatically find the hyperparameter values that yield the desired accuracy-runtime trade-off? We open-source our entire codebase at: https://github.com/dstamoulis/single-path-nas.

研究动机与目标

• 将神经架构搜索（NAS）的搜索成本从数天大幅降低至3小时以内，同时在移动端延迟约束下保持高准确率。
• 通过将挤压-激励路径视为完全可搜索的操作，改进可微分NAS中的准确率-运行时间权衡。
• 探索是否可自动调优NAS超参数以实现期望的准确率-运行时间权衡，而非依赖经验调优。
• 为云和移动端环境中的NAS驱动AutoML服务提供可扩展、高效的框架。

提出的方法

• 提出一种新颖的单路径可微分NAS公式，其中所有候选操作均编码在每层的单一共享超核中，采用核权重子集选择而非多条并行路径。
• 通过将挤压-激励（SE）路径整合到单路径超核中，实现其完全可搜索，从而支持注意力机制的端到端可微分优化。
• 通过避免多路径超网络训练带来的内存与计算开销，将搜索成本降低至仅8个周期（24 TPU小时）。
• 采用超参数优化框架，将NAS求解器的超参数（如权衡权重λ）视为可调变量，通过黑箱优化进行调优。
• 使用贝叶斯优化、多保真度优化和随机搜索，自动识别在目标延迟约80ms附近实现帕累托最优模型的超参数。
• 通过集成云TPU，自动化NAS流程，实现在多轮运行中可扩展、并行且高效的超参数搜索。

实验结果

研究问题

• RQ1 我们能否在保持或提升准确率的同时，将NAS的搜索成本从数天降低至3小时以内，且满足移动端延迟约束？
• RQ2 将挤压-激励路径视为完全可搜索操作，如何改善可微分NAS中的准确率-运行时间权衡？
• RQ3 可微分NAS求解器的超参数是否可自动调优以实现期望的准确率-运行时间权衡，而非依赖人工或经验调优？
• RQ4 在超参数优化中使用低保真度函数评估，是否能代表NAS搜索空间的全貌，还是会导致次优收敛？

主要发现

• Single-Path NAS在Pixel 1设备上实现了75.62%的ImageNet top-1准确率，延迟约80ms，优于以往的移动端NAS方法及人工设计的模型（如MobileNetV3）。
• 该方法将总搜索成本降低至仅8个周期（24 TPU小时），相比以往需要数百GPU小时的NAS方法，提速达5,000倍。
• 朴素贝叶斯优化在超参数调优中表现优于多保真度贝叶斯优化，因为低保真度评估无法可靠反映完整的目标函数景观。
• 采用单路径超核消除了维护多条路径的需求，降低了内存与计算开销，同时保持或提升了性能。
• 随机搜索在超参数调优中表现出相对较强的性能，表明当结合高效搜索流程时，简单的采样方法在NAS超参数搜索中也可能有效。
• 研究表明，超参数优化中的早期低代价评估可能导致“过度偏离”帕累托最优区域，提示基于近似的优化方法（如Hyperband）存在风险。