[论文解读] Sampled Training and Node Inheritance for Fast Evolutionary Neural Architecture Search

Haoyu Zhang, Yaochu Jin+2 more|arXiv (Cornell University)|Mar 7, 2020

Metaheuristic Optimization Algorithms Research参考文献 60被引用 10

一句话总结

本文提出了一种基于采样训练父代个体与子代节点继承的快速进化神经架构搜索（ENAS）框架，显著降低了训练成本，同时保持了高性能。通过在小批量数据上训练父代并继承节点而无需重新训练，该方法在CIFAR-10上实现了95.93%的准确率，在CIFAR-100上实现了81.36%的准确率，计算量显著低于以往的ENAS方法。

ABSTRACT

The performance of a deep neural network is heavily dependent on its architecture and various neural architecture search strategies have been developed for automated network architecture design. Recently, evolutionary neural architecture search (ENAS) has received increasing attention due to the attractive global optimization capability of evolutionary algorithms. However, ENAS suffers from extremely high computation costs because a large number of performance evaluations is usually required in evolutionary optimization and training deep neural networks is itself computationally very intensive. To address this issue, this paper proposes a new evolutionary framework for fast ENAS based on directed acyclic graph, in which parents are randomly sampled and trained on each mini-batch of training data. In addition, a node inheritance strategy is adopted to generate offspring individuals and their fitness is directly evaluated without training. To enhance the feature processing capability of the evolved neural networks, we also encode a channel attention mechanism in the search space. We evaluate the proposed algorithm on the widely used datasets, in comparison with 26 state-of-the-art peer algorithms. Our experimental results show the proposed algorithm is not only computationally much more efficiently, but also highly competitive in learning performance.

研究动机与目标

• 为解决进化神经架构搜索（ENAS）中因需对深度网络进行大量训练以评估适应度而导致的高计算成本问题。
• 在不牺牲搜索性能的前提下，减少ENAS中适应度评估所需的时间与资源。
• 通过复用权重并避免对子代进行完整微调，提升进化搜索的效率。
• 通过在搜索空间中集成通道注意力机制，提升所演化架构的特征表示能力。
• 评估在CIFAR-10、CIFAR-100和SVHN等数据集之间，所演化架构的可迁移性。

提出的方法

• 父代个体通过随机采样并基于数据的小批量进行训练，相比全批量训练，显著降低了每次评估的计算成本。
• 子代通过节点继承生成，即从父代继承结构组件而无需重新训练。
• 子代的适应度评估直接使用继承的权重完成，无需进行完整训练。
• 采用有向无环图（DAG）表示法建模搜索空间，支持可配置的操作，包括多尺度卷积和通道注意力。
• 在搜索空间中集成通道注意力机制，以提升特征表示能力和模型表达能力。
• 采用无代理模型方法，避免了其他ENAS方法中常见的昂贵代理模型训练过程。

实验结果

研究问题

• RQ1 对父代个体采用采样训练是否能显著降低ENAS中适应度评估的计算成本，同时不损害性能？
• RQ2 节点继承是否能在无需完整重训的情况下实现对子代的准确适应度估计，从而加速进化过程？
• RQ3 在搜索空间中集成通道注意力机制是否能提升所演化神经架构的性能？
• RQ4 在小型数据集（如CIFAR-10）上优化的神经架构，在多大程度上可有效迁移到更大规模的数据集（如CIFAR-100和SVHN）？
• RQ5 所提出的SI-ENAS框架在标准基准测试中，与最先进ENAS方法相比，在效率和准确率方面表现如何？

主要发现

• 所提出的SI-ENAS框架在CIFAR-10上实现了95.93%的测试准确率，在CIFAR-100上实现了81.36%，优于采用参数共享的基线SI-ENAS方法（分别为94.82%和79.59%）。
• 节点继承显著降低了计算成本，因为子代无需完整训练即可评估，而参数共享方法则导致更高的适应度估计误差。
• 该方法在CIFAR-10和CIFAR-100上分别实现了相比AE-CNN减少214%和230%的GPU天数，表现出具有竞争力的性能。
• 在CIFAR-10上演化出的最佳个体在SVHN上实现了98.31%的准确率，在CIFAR-100上实现了80.13%的准确率，展现出强大的可迁移性。
• 该框架表现出良好的可扩展性与效率，适用于计算资源有限的设备部署。