[论文解读] Reinforced Evolutionary Neural Architecture Search

Yukang Chen, Gaofeng Meng+5 more|arXiv (Cornell University)|Aug 1, 2018

Advanced Neural Network Applications参考文献 41被引用 33

一句话总结

本文提出强化进化神经架构搜索（RENAS），一种高效的神经架构搜索（NAS）框架，通过引入强化突变控制器，将强化学习与进化算法相结合，以指导架构演化。该方法实现了快速、参数高效的搜索，最终获得RENASNet——一种面向移动设备优化的架构，在ImageNet上实现75.7%的top-1准确率，在PASCAL VOC语义分割任务上实现75.83%的mIOU，且无需COCO预训练。

ABSTRACT

Neural Architecture Search (NAS) is an important yet challenging task in network design due to its high computational consumption. To address this issue, we propose the Reinforced Evolutionary Neural Architecture Search (RE- NAS), which is an evolutionary method with the reinforced mutation for NAS. Our method integrates reinforced mutation into an evolution algorithm for neural architecture exploration, in which a mutation controller is introduced to learn the effects of slight modifications and make mutation actions. The reinforced mutation controller guides the model population to evolve efficiently. Furthermore, as child models can inherit parameters from their parents during evolution, our method requires very limited computational resources. In experiments, we conduct the proposed search method on CIFAR-10 and obtain a powerful network architecture, RENASNet. This architecture achieves a competitive result on CIFAR-10. The explored network architecture is transferable to ImageNet and achieves a new state-of-the-art accuracy, i.e., 75.7% top-1 accuracy with 5.36M parameters on mobile ImageNet. We further test its performance on semantic segmentation with DeepLabv3 on the PASCAL VOC. RENASNet outperforms MobileNet-v1, MobileNet-v2 and NASNet. It achieves 75.83% mIOU without being pre-trained on COCO.

研究动机与目标

• 解决现有神经架构搜索（NAS）方法，特别是基于强化学习（RL）和进化算法（EA）的方法，计算成本高、效率低的问题。
• 通过用学习到的、基于策略的突变控制器替代随机突变，提升进化NAS的效率。
• 在演化过程中实现从父模型到子模型的参数迁移，以降低训练成本并加速收敛。
• 发现一种高性能、面向移动设备的架构（RENASNet），其在图像分类和语义分割等视觉任务中具有良好的泛化能力。
• 证明在相同搜索空间下，混合RL-EA框架在搜索效率和最终性能上均优于独立的RL和EA基线方法。

提出的方法

• 将基于强化学习的突变控制器集成到进化算法中，以指导架构搜索，用学习到的、自适应的动作替代随机突变。
• 使用双向RNN控制器编码架构操作，并基于当前种群的性能预测突变动作。
• 在演化过程中实现从父模型到子模型的参数继承，显著降低训练时间和计算成本。
• 采用锦标赛选择策略，在保持种群多样性的同时优先保留高性能架构。
• 使用策略梯度方法训练突变控制器，以验证准确率为奖励信号，使其能够学习有效的修改策略。
• 在统一的基于单元的搜索空间中进行搜索，包含6种操作选择，简化与其他NAS方法的比较。

实验结果

研究问题

• RQ1 基于强化学习的控制器能否通过指导突变动作，提升进化神经架构搜索的效率？
• RQ2 所提出的RENAS框架在搜索效率和最终性能方面，与纯RL-based和EA-based NAS方法相比如何？
• RQ3 所发现的架构（RENASNet）在不同视觉任务（如图像分类和语义分割）中的泛化能力如何？
• RQ4 从父模型到子模型的参数继承是否能显著降低NAS中的计算成本？
• RQ5 与单向RNN相比，突变控制器中使用双向RNN对搜索性能有何影响？

主要发现

• 在相同搜索空间下，RENAS相比基于RL和基于EA的NAS方法分别实现了1.5–2.0倍的加速，证明了其卓越的搜索效率。
• RENASNet在CIFAR-10上实现了2.88% ± 0.02的错误率，展现出在图像分类任务中的优异性能。
• 在移动端ImageNet上，RENASNet仅用536万参数即达到75.7%的top-1准确率，创下移动端模型的新SOTA记录。
• 在PASCAL VOC 2012语义分割任务中，RENASNet在无需COCO预训练的情况下达到75.83%的mIOU，优于MobileNet-v1、MobileNet-v2和NASNet-A。
• 消融实验表明，与单向RNN相比，RENAS中使用的双向RNN控制器显著提升了性能，验证了其设计选择的合理性。
• 即使未进行COCO预训练，RENASNet（在ImageNet上训练）仍优于在COCO上预训练的MobileNet-v2和MobileNet-v1模型，凸显其强大的归纳偏置和泛化能力。