[论文解读] Neural Architecture Search for Class-incremental Learning

Shenyang Huang, Vincent François-Lavet+1 more|arXiv (Cornell University)|Sep 14, 2019

Domain Adaptation and Few-Shot Learning参考文献 22被引用 10

一句话总结

本文提出持续神经架构搜索（CNAS），一种通过强化学习元控制器和Net2Net参数迁移实现类增量学习中动态演化神经网络架构的自动机器学习框架。CNAS在性能上优于固定架构模型，且相比以往NAS方法计算效率至少提升一个数量级，通过仅在需要时自适应扩展，实现更高的准确率和更低的参数增长。

ABSTRACT

In class-incremental learning, a model learns continuously from a sequential data stream in which new classes occur. Existing methods often rely on static architectures that are manually crafted. These methods can be prone to capacity saturation because a neural network's ability to generalize to new concepts is limited by its fixed capacity. To understand how to expand a continual learner, we focus on the neural architecture design problem in the context of class-incremental learning: at each time step, the learner must optimize its performance on all classes observed so far by selecting the most competitive neural architecture. To tackle this problem, we propose Continual Neural Architecture Search (CNAS): an autoML approach that takes advantage of the sequential nature of class-incremental learning to efficiently and adaptively identify strong architectures in a continual learning setting. We employ a task network to perform the classification task and a reinforcement learning agent as the meta-controller for architecture search. In addition, we apply network transformations to transfer weights from previous learning step and to reduce the size of the architecture search space, thus saving a large amount of computational resources. We evaluate CNAS on the CIFAR-100 dataset under varied incremental learning scenarios with limited computational power (1 GPU). Experimental results demonstrate that CNAS outperforms architectures that are optimized for the entire dataset. In addition, CNAS is at least an order of magnitude more efficient than naively using existing autoML methods.

研究动机与目标

• 通过动态调整神经网络架构而非依赖固定的手动设计架构，解决持续学习中的容量饱和问题。
• 开发一种自动化机器学习系统，在每个学习步骤自主选择最优架构，无需人工干预。
• 通过利用Net2Net参数迁移和启发式扩展策略，降低架构搜索的计算成本。
• 在数据受限、GPU资源有限的真实场景下，评估持续架构搜索的有效性。
• 证明自适应架构演化相比静态或贪婪扩展策略，能带来更好的泛化能力和参数效率。

提出的方法

• 使用强化学习智能体作为元控制器，从当前任务网络中探索架构变换（Net2WiderNet、Net2DeeperNet）。
• 通过Net2Net变换将先前架构的训练权重迁移过来，显著减少训练时间和计算成本。
• 采用启发式函数决定何时扩展网络，防止过度参数化和不必要的复杂性。
• 在每个时间步于保留的验证集上执行架构搜索，为所有已见类别选择性能最佳的架构。
• 维护一个包含所有历史数据的持续增长数据集，并利用知识回放缓解灾难性遗忘。
• 每个时间步最多采样30种架构，并将变换操作限制在5次Net2WiderNet和5次Net2DeeperNet内，以控制搜索空间规模。

实验结果

研究问题

• RQ1 与固定架构模型相比，动态架构搜索是否能提升类增量学习中的性能？
• RQ2 强化学习与参数迁移的结合如何降低持续架构搜索中的计算成本？
• RQ3 启发式函数在防止过度参数化和提升持续学习中泛化能力方面有何影响？
• RQ4 在效率和准确率方面，CNAS与NAS和EAS等朴素自动机器学习方法相比如何？
• RQ5 RL元控制器是否能比仅依赖启发式或贪婪方法更好地适应数据分布的变化？

主要发现

• CNAS在性能上优于在完整CIFAR-100数据集上优化的模型，表明持续架构搜索可带来更好的泛化能力。
• CNAS在计算效率上至少比朴素NAS和EAS方法高出一个数量级，仅使用1块GPU，在93小时内完成900种架构的训练。
• 启发式函数可防止过早且过度的模型扩展，避免过拟合并降低训练成本。
• RL元控制器使CNAS能够随时间学习有效的搜索策略，在学习36个类别后，性能优于缺乏元控制器的RAS-HF。
• 消融实验表明，同时具备元控制器和启发式函数的CNAS在性能上表现最佳，且参数增长低于RAS（其采用贪婪扩展策略，最终变得计算不可行）。
• 与SA（静态架构）相比，CNAS在使用显著更少参数的情况下实现了更高的准确率，如参数增长曲线和性能对比所示。