[论文解读] Two-stage architectural fine-tuning with neural architecture search using early-stopping in image classification

Y. K. Kim, Won Joon Yun+3 more|arXiv (Cornell University)|Feb 17, 2022

Advanced Neural Network Applications被引用 4

一句话总结

本文提出了一种两阶段架构微调方法，结合神经架构搜索（NAS）与迁移学习以实现图像分类，采用基于变异的搜索空间定义和早停策略，降低计算与搜索成本。该方法相较基线方法实现32.4%的计算量降低与22.3%的搜索成本减少，同时在ResNet-18与ResNet-50模型上提升了准确率。

ABSTRACT

In many deep neural network (DNN) applications, the difficulty of gathering high-quality data in the industry field hinders the practical use of DNN. Thus, the concept of transfer learning has emerged, which leverages the pretrained knowledge of DNNs trained on large-scale datasets. Therefore, this paper suggests two-stage architectural fine-tuning, inspired by neural architecture search (NAS). One of main ideas is mutation, which reduces the search cost using given architectural information. Moreover, early-stopping is considered which cuts NAS costs by terminating the search process in advance. Experimental results verify our proposed method reduces 32.4% computational and 22.3% searching costs.

研究动机与目标

• 通过增强图像分类中的迁移学习，应对工业深度学习应用中数据稀缺的挑战。
• 降低真实部署中与神经架构搜索（NAS）相关的高计算与搜索成本。
• 通过在紧凑的、基于变异的搜索空间中联合微调网络架构与权重，提升模型性能。
• 开发一种早停机制，在奖励收敛前终止NAS，基于控制器的动作稳定性。
• 在不同搜索范围配置下，验证方法在ResNet-18与ResNet-50等不同主干架构上的泛化能力。

提出的方法

• 使用基础架构（如ResNet-18/50）、变异规则与可配置的搜索范围，定义紧凑的搜索空间，以限制架构变化。
• 应用基于强化学习（RL）的控制器，从搜索空间中采样子网络（subnets），动作代表架构选择，如滤波器大小（3×3或5×5）。
• 使用参数共享的超网络（supernet）实现在训练期间对候选架构进行高效评估。
• 实施一种早停策略，当控制器的动作分布稳定时停止搜索，即使奖励尚未收敛。
• 利用源数据集的预训练权重初始化搜索，搜索范围控制权重重用的程度。
• 将总奖励归一化至[0,1]以保证一致性比较，并使用测试准确率作为强化学习控制器的奖励信号。

实验结果

研究问题

• RQ1 基于变异的搜索空间定义是否能在保持或提升图像分类模型性能的同时，降低NAS的搜索成本？
• RQ2 基于动作分布稳定性的早停策略是否能在不降低最终准确率的前提下，显著减少搜索时间与计算成本？
• RQ3 搜索范围如何影响架构微调过程的性能与收敛性？
• RQ4 所提方法在不同主干架构（如ResNet-18与ResNet-50）上的泛化能力如何？
• RQ5 在受限搜索空间中使用预训练权重，与标准微调相比，对最终模型准确率有何影响？

主要发现

• 与基线微调方法相比，所提方法实现32.4%的计算成本降低与22.3%的搜索成本降低。
• 不同搜索范围下模型性能的排名顺序为：全范围 > 大范围 > 中范围 > 小范围，表明更广的搜索范围可获得更优结果。
• 对于ResNet-18，全搜索范围下的ENASResNet-18模型最终准确率达到85.6%，较原始ResNet-18提升4.0%。
• 早停机制成功通过识别稳定动作分布（如ResNet-18中范围为中等时，在140个子网采样步骤后）提前终止搜索，早于奖励收敛。
• 动作分布在奖励收敛前即趋于稳定，验证了早停策略在效率与有效性上的合理性。
• ENASResNet-50在全范围与大范围搜索下的性能几乎相同，表明在某一临界点后，额外的架构变化带来的收益递减。