[论文解读] Pareto-Frontier-aware Neural Architecture Generation for Diverse Budgets

Yong Guo, Yaofo Chen+6 more|arXiv (Cornell University)|Feb 27, 2021

Simulation Techniques and Applications参考文献 42被引用 4

一句话总结

本文提出了一种感知帕累托前沿的神经架构生成器（NAG），该生成器通过学习单一的生成模型，可为任意给定的计算预算生成帕累托最优的神经架构。通过联合优化一组采样的预算，并使用帕累托支配奖励，NAG在移动设备、CPU和GPU平台上均实现了更优的准确率-延迟权衡，且推理生成时间低于5秒，相比传统NAS方法的数天时间显著提升效率。

ABSTRACT

Designing feasible and effective architectures under diverse computation budgets incurred by different applications/devices is essential for deploying deep models in practice. Existing methods often perform an independent architecture search for each target budget, which is very inefficient yet unnecessary. Moreover, the repeated independent search manner would inevitably ignore the common knowledge among different search processes and hamper the search performance. To address these issues, we seek to train a general architecture generator that automatically produces effective architectures for an arbitrary budget merely via model inference. To this end, we propose a Pareto-Frontier-aware Neural Architecture Generator (NAG) which takes an arbitrary budget as input and produces the Pareto optimal architecture for the target budget. We train NAG by learning the Pareto frontier (i.e., the set of Pareto optimal architectures) over model performance and computational cost (e.g., latency). Extensive experiments on three platforms (i.e., mobile, CPU, and GPU) show the superiority of the proposed method over existing NAS methods.

研究动机与目标

• 为解决在计算约束多变的实际应用中，针对每个目标预算独立进行神经架构搜索（NAS）效率低下的问题。
• 学习一个统一的架构生成器，可在多个预算下生成帕累托最优模型，利用各次搜索过程之间的共享知识。
• 通过在模型准确率与计算成本（如延迟）的帕累托前沿上进行训练，而非孤立优化单个预算，从而提升搜索效率与性能。
• 通过推理实现快速、按需的架构生成，避免重复进行昂贵的搜索过程。

提出的方法

• NAG框架由一个基于LSTM的架构生成器组成，该生成器以目标预算作为输入，并输出相应的神经架构。
• 通过在一组均匀采样的离散预算上最大化期望奖励来训练生成器，从而近似性能与成本之间的帕累托前沿。
• 引入了一种架构评估器，用于学习帕累托支配规则，从而基于准确率与延迟对架构进行比较。
• 使用帕累托支配奖励来引导生成器，使其倾向于生成在准确率和延迟上均不被支配的架构。
• 提出了一种嵌入插值方法，使生成器能够泛化至训练过程中未见过的任意预算。
• 该方法联合优化多个预算，使共享知识得以提升整个前沿的搜索性能。

实验结果

研究问题

• RQ1 是否可以训练单一的神经架构生成器，使其为任意计算预算生成帕累托最优架构？
• RQ2 与按预算独立搜索相比，对多个预算进行联合优化在多大程度上提升了搜索性能？
• RQ3 学习帕累托前沿在多大程度上增强了不同延迟约束下生成架构的多样性与质量？
• RQ4 与现有NAS方法相比，所提方法是否能在显著降低生成成本的前提下实现高性能架构？

主要发现

• NAG在ImageNet上所有测试预算下均实现了最先进水平的准确率，移动端200ms延迟下达到80.5%的top-1准确率，优于重复独立搜索和多目标NAS基线方法。
• 通过推理实现架构生成时间缩短至每架构低于5秒，相较PC-DARTS的2小时、ENAS的12小时以及DARTS的4天显著提升。
• 在训练期间使用K=10个采样预算时，NAG在140ms延迟下实现79.8%的top-1准确率，优于K=2（79.1%）和K=30（79.7%），表明前沿近似达到了最佳平衡。
• 如图5所示，NAG学习到的帕累托前沿优于OFA-MO，这是因为在训练过程中各预算间共享了知识。
• 消融实验表明，帕累托前沿学习策略与帕累托支配奖励均对高性能至关重要，若省略任一策略，准确率或延迟表现均显著下降。
• 架构评估器成功学习到可靠的帕累托支配规则，实现了对性能与成本权衡下更优架构的准确比较与选择。