[论文解读] Neural Architecture Refinement: A Practical Way for Avoiding Overfitting in NAS

Yang Jiang, Cong Zhao+2 more|arXiv (Cornell University)|May 7, 2019

Advanced Neural Network Applications参考文献 45被引用 4

一句话总结

本文提出神经架构精炼（NAR），一种通过解耦操作符与跳跃连接优化来缓解强化学习-based 神经架构搜索（NAS）中过拟合问题的方法。与联合搜索两者不同，NAR 固定跳跃连接并仅精炼操作符，从而降低搜索空间复杂度，提高奖励估计精度，并在图像分类与人脸识别任务中以更少的 FLOPs 和参数量实现最先进性能。

ABSTRACT

Neural architecture search (NAS) is proposed to automate the architecture design process and attracts overwhelming interest from both academia and industry. However, it is confronted with overfitting issue due to the high-dimensional search space composed by operator selection and skip connection of each layer. This paper explores the architecture overfitting issue in depth based on the reinforcement learning-based NAS framework. We show that the policy gradient method has deep correlations with the cross entropy minimization. Based on this correlation, we further demonstrate that, though the reward of NAS is sparse, the policy gradient method implicitly assign the reward to all operations and skip connections based on the sampling frequency. However, due to the inaccurate reward estimation, curse of dimensionality problem and the hierachical structure of neural networks, reward charateristics for operators and skip connections have intrinsic differences, the assigned rewards for the skip connections are extremely noisy and inaccurate. To alleviate this problem, we propose a neural architecture refinement approach that working with an initial state-of-the-art network structure and only refining its operators. Extensive experiments have demonstrated that the proposed method can achieve fascinated results, including classification, face recognition etc.

研究动机与目标

• 为解决基于强化学习的 NAS 中因跳跃连接奖励分配存在噪声与不准确而导致的架构过拟合问题。
• 探究为何操作符与跳跃连接的联合优化会导致训练动态不稳定及泛化性能差。
• 通过解耦操作符与跳跃连接的搜索空间，提升奖励估计的准确性。
• 开发一种实用且高效的 NAS 方法，在减少 FLOPs 与参数量的同时保持或提升性能。
• 验证精炼后架构在多样化计算机视觉任务中的泛化能力。

提出的方法

• 提出神经架构精炼（NAR），固定跳跃连接并仅优化操作符空间，从而降低搜索空间维度。
• 将操作符与跳跃连接的优化解耦，将其视为独立的搜索领域，以缓解奖励噪声与不稳定性。
• 采用分层搜索策略，使控制器首先在固定跳跃连接结构上学习最优操作符。
• 使用子集数据的代理任务以降低计算成本，同时通过聚焦操作符精炼确保奖励估计的准确性。
• 利用策略梯度与交叉熵最小化之间的相关性，稳定训练并提升收敛性。
• 在不重新训练的情况下将精炼后的架构应用于下游任务，展示其泛化性与高效性。

实验结果

研究问题

• RQ1 为何在 NAS 中联合优化操作符与跳跃连接会导致过拟合与训练不稳定？
• RQ2 策略梯度方法如何隐式地为操作与跳跃连接分配奖励？为何这种分配对跳跃连接而言具有噪声？
• RQ3 解耦操作符与跳跃连接的优化是否能提升 NAS 中的奖励估计准确性并减少过拟合？
• RQ4 在保持跳跃连接固定的同时仅精炼操作符，是否能提升下游任务中的泛化性能与效率？
• RQ5 神经网络的分层结构如何影响操作符与跳跃连接的奖励特性？

主要发现

• 在 LFW 上，NAR 达到 99.56% 的准确率，在 CFP-FP 上达到 94.42%，仅使用 3.38×10⁷ 个参数与 4.69×10⁹ FLOPs，优于基线模型 LResNet50E-IR。
• 在 CIFAR-10 上，ResNet-18-16 达到 93.71% 的准确率，FLOPs 为 1.41×10⁹，相比原始 ResNet-18 减少了 20%。
• 精炼后的模型在 ImageNet 上泛化良好，Top-1 准确率达到 69.42%，与基线模型（69.39%）相当或略优，且参数更少。
• 该方法在多个基准上将 FLOPs 减少最多达 20%，参数减少 20%，同时保持或提升性能。
• 实验表明，由于搜索空间维度高，跳跃连接更容易受到奖励噪声影响，这验证了解耦优化的必要性。
• 泛化性研究证实，基于一个数据集（如 Face-Emore V2）精炼的架构能良好泛化到其他数据集（如 Face-Emore V1），展现出强鲁棒性。