[论文解读] PONAS: Progressive One-shot Neural Architecture Search for Very Efficient Deployment

Sian-Yao Huang, Wei-Ta Chu|arXiv (Cornell University)|Mar 11, 2020

Advanced Neural Network Applications参考文献 26被引用 4

一句话总结

PONAS 提出了一种渐进式一次性神经架构搜索方法，在超网络训练过程中构建精度表格，实现硬件受限场景下的亚秒级架构搜索。通过存储每层候选模块的验证精度，PONAS 允许在约 10 秒内即时查询特定网络选择，实现 ImageNet 上 75.2% 的 top-1 精度，且搜索成本极低。

ABSTRACT

We achieve very efficient deep learning model deployment that designs neural network architectures to fit different hardware constraints. Given a constraint, most neural architecture search (NAS) methods either sample a set of sub-networks according to a pre-trained accuracy predictor, or adopt the evolutionary algorithm to evolve specialized networks from the supernet. Both approaches are time consuming. Here our key idea for very efficient deployment is, when searching the architecture space, constructing a table that stores the validation accuracy of all candidate blocks at all layers. For a stricter hardware constraint, the architecture of a specialized network can be very efficiently determined based on this table by picking the best candidate blocks that yield the least accuracy loss. To accomplish this idea, we propose Progressive One-shot Neural Architecture Search (PONAS) that combines advantages of progressive NAS and one-shot methods. In PONAS, we propose a two-stage training scheme, including the meta training stage and the fine-tuning stage, to make the search process efficient and stable. During search, we evaluate candidate blocks in different layers and construct the accuracy table that is to be used in deployment. Comprehensive experiments verify that PONAS is extremely flexible, and is able to find architecture of a specialized network in around 10 seconds. In ImageNet classification, 75.2% top-1 accuracy can be obtained, which is comparable with the state of the arts.

研究动机与目标

• 为解决现有 NAS 方法在搜索和定制适配多样化硬件约束模型时计算成本过高的问题。
• 通过将搜索与昂贵的微调过程解耦，实现高效、硬件优化神经网络的极快速部署。
• 开发一种可扩展、灵活的 NAS 框架，支持根据不同的 FLOPs 和延迟约束快速定制模型。
• 通过超网络的两阶段训练方案提升训练稳定性和效率。

提出的方法

• 提出两阶段训练方案：元训练用于初始化超网络，微调用于稳定化并提升性能。
• 在搜索过程中构建精度表格，记录每个候选模块在各层的验证精度。
• 将精度表格转化为精度损失域，以实现模块重要性的跨层比较。
• 使用表格查找而非重新训练或进化搜索，快速评估硬件约束下候选架构的性能。
• 通过逐层独立选择最优模块实现渐进式搜索，支持异构层设计。
• 利用精度损失度量量化不同层的重要性，并指导高效定制化。

实验结果

研究问题

• RQ1 一种一次性 NAS 方法能否实现硬件约束模型的亚 10 秒架构搜索？
• RQ2 预先构建的精度表格能否实现对专用网络性能的准确且高效的预测？
• RQ3 通过跨层测量精度损失是否能有效排序模块重要性并指导更优的网络定制？
• RQ4 两阶段训练策略是否相比随机初始化能提升超网络训练的收敛速度和稳定性？

主要发现

• PONAS 在 ImageNet 上实现 75.2% 的 top-1 精度，与当前最先进方法相当，但搜索成本显著降低。
• 仅通过表格查找，架构定制可在约 10 秒内完成，相比先前的一次性 NAS 方法大幅缩短时间。
• 精度损失度量与实际验证精度之间表现出较强的 Kendall’s τ 相关系数（0.733），验证了其性能预测的可靠性。
• 在更重要的层（如通道维度不对称的层）中替换模块可带来更大的精度增益，证实了重要性度量的有效性。
• 两阶段训练方案相比从随机初始化开始训练，展现出更快的收敛速度和更高的稳定性，训练曲线对比结果明确支持此结论。
• 最差层+最重要层的模型实现 73.9% 的 top-1 精度，FLOPs 为 295M，低于最差层+最不重要层模型的 305M，证明了基于层重要性的定制化方法的有效性。