[论文解读] STEERAGE: Synthesis of Neural Networks Using Architecture Search and Grow-and-Prune Methods

Shayan Hassantabar, Xiaoliang Dai+1 more|arXiv (Cornell University)|Dec 12, 2019

Advanced Neural Network Applications参考文献 50被引用 20

一句话总结

STEERAGE 提出了一种两阶段神经网络结构合成框架，结合高效的架构搜索与增广-剪枝优化，以生成高精度、轻量级的模型。它采用基于提升决策树的精度预测器加速搜索过程，并通过有针对性的增广与剪枝操作提升性能并减少冗余，在仅使用 0.41M 参数的 40 层 ResNet 变体上，于 CIFAR-10 上实现了 3.86% 的错误率，达到当前最优水平。

ABSTRACT

Neural networks (NNs) have been successfully deployed in many applications. However, architectural design of these models is still a challenging problem. Moreover, neural networks are known to have a lot of redundancy. This increases the computational cost of inference and poses an obstacle to deployment on Internet-of-Thing sensors and edge devices. To address these challenges, we propose the STEERAGE synthesis methodology. It consists of two complementary approaches: efficient architecture search, and grow-and-prune NN synthesis. The first step, covered in a global search module, uses an accuracy predictor to efficiently navigate the architectural search space. The predictor is built using boosted decision tree regression, iterative sampling, and efficient evolutionary search. The second step involves local search. By using various grow-and-prune methodologies for synthesizing convolutional and feed-forward NNs, it reduces the network redundancy, while boosting its performance. We have evaluated STEERAGE performance on various datasets, including MNIST and CIFAR-10. On MNIST dataset, our CNN architecture achieves an error rate of 0.66%, with 8.6x fewer parameters compared to the LeNet-5 baseline. For the CIFAR-10 dataset, we used the ResNet architectures as the baseline. Our STEERAGE-synthesized ResNet-18 has a 2.52% accuracy improvement over the original ResNet-18, 1.74% over ResNet-101, and 0.16% over ResNet-1001, while having comparable number of parameters and FLOPs to the original ResNet-18. This shows that instead of just increasing the number of layers to increase accuracy, an alternative is to use a better NN architecture with fewer layers. In addition, STEERAGE achieves an error rate of just 3.86% with a variant of ResNet architecture with 40 layers. To the best of our knowledge, this is the highest accuracy obtained by ResNet-based architectures on the CIFAR-10 dataset.

研究动机与目标

• 解决深度学习中大型且呈指数级增长的神经架构搜索空间挑战。
• 克服神经网络设计中试错法超参数调优的低效性与次优性。
• 减少模型冗余与计算成本，以支持在边缘设备与物联网传感器上的部署。
• 在不依赖深层、资源密集型架构的前提下，同时提升模型精度与紧凑性。
• 开发一种可推广、高效的框架，适用于前馈网络与卷积神经网络。

提出的方法

• 使用基于提升决策树回归模型的全局搜索模块作为精度预测器，无需完整训练即可估计架构性能。
• 整合准蒙特卡洛（QMC）采样与迭代采样，高效训练覆盖整个搜索空间的精度预测器。
• 应用高效的进化搜索（EES）算法，从基础架构中探索并识别高性能的架构变体。
• 在局部搜索阶段采用两种不同的增广-剪枝方法：针对前馈网络使用 SCANN，针对卷积层使用 NeST。
• 对于前馈网络，应用迭代连接增广、神经元增广与连接剪枝，以提升精度与紧凑性。
• 对于卷积层，采用特征图增广与可配置剪枝率的部分区域卷积，以平衡精度与效率。

实验结果

研究问题

• RQ1 基于提升决策树与迭代采样的精度预测器，能否显著加速神经架构搜索，同时保持高性能？
• RQ2 增广-剪枝合成方法在多大程度上可同时提升神经网络的精度与模型紧凑性？
• RQ3 混合全局+局部搜索策略是否能在效率与最终模型质量方面超越传统 NAS 方法？
• RQ4 是否可能在浅层、小型 ResNet 变体上实现 CIFAR-10 上的 SOTA 精度，超越更深、更大的基线模型？
• RQ5 维度缩减与深度、宽度及剪枝率超参数联合搜索的集成，如何影响最终模型的性能与效率？

主要发现

• 由 STEERAGE 合成的 ResNet-40 在 CIFAR-10 上实现了 3.86% 的测试错误率，优于 1001 层的 ResNet-1001（错误率为 4.62%）。
• STEERAGE 合成的 ResNet-18 变体实现了 4.46% 的错误率，相比原始 ResNet-18 提升 2.52%，相比更深的 ResNet-101 提升 1.74%。
• STEERAGE 合成的紧凑型 ResNet-18 变体在参数量仅为原始 ResNet-18 的 2.1 倍时，错误率为 4.78%。
• 精度预测器使架构评估速度提升了 6000 倍，将每模型的推理时间从约 2 个 GPU 小时缩短至 1.2 秒。
• 该框架成功生成了一个仅含 0.41M 参数与 1.30G FLOPs 的 40 层 ResNet，其在 CIFAR-10 上所有基于 ResNet 的架构中精度最高。
• 全局+局部搜索联合策略始终优于仅使用全局搜索，证明局部优化能同时提升精度与紧凑性。