[论文解读] Self-supervised Representation Learning for Evolutionary Neural Architecture Search

Chen Wei, Yiping Tang+4 more|arXiv (Cornell University)|Oct 31, 2020

Advanced Neural Network Applications参考文献 48被引用 6

一句话总结

本文提出了一种用于神经架构搜索（NAS）的自监督表示学习框架，通过极少的标注数据显著提升了神经预测器的性能。通过引入一种位置感知的基于路径的编码方法以更好地表示神经架构，并设计了两种新颖的自监督预训练方法——图编辑距离预测与中心对比学习，该方法在仅使用监督基线所需训练数据的一小部分情况下，于NASBench-101和NASBench-201上实现了最先进（SOTA）的准确率。

ABSTRACT

Recently proposed neural architecture search (NAS) algorithms adopt neural predictors to accelerate the architecture search. The capability of neural predictors to accurately predict the performance metrics of neural architecture is critical to NAS, and the acquisition of training datasets for neural predictors is time-consuming. How to obtain a neural predictor with high prediction accuracy using a small amount of training data is a central problem to neural predictor-based NAS. Here, we firstly design a new architecture encoding scheme that overcomes the drawbacks of existing vector-based architecture encoding schemes to calculate the graph edit distance of neural architectures. To enhance the predictive performance of neural predictors, we devise two self-supervised learning methods from different perspectives to pre-train the architecture embedding part of neural predictors to generate a meaningful representation of neural architectures. The first one is to train a carefully designed two branch graph neural network model to predict the graph edit distance of two input neural architectures. The second method is inspired by the prevalently contrastive learning, and we present a new contrastive learning algorithm that utilizes a central feature vector as a proxy to contrast positive pairs against negative pairs. Experimental results illustrate that the pre-trained neural predictors can achieve comparable or superior performance compared with their supervised counterparts with several times less training samples. We achieve state-of-the-art performance on the NASBench-101 and NASBench201 benchmarks when integrating the pre-trained neural predictors with an evolutionary NAS algorithm.

研究动机与目标

• 为解决在训练神经架构搜索（NAS）的神经预测器时标注数据有限的挑战。
• 在远少于监督方法所需训练样本的情况下，提升神经预测器的预测准确率。
• 开发一种更有效的架构编码方案，以捕捉神经架构中的结构与位置差异。
• 探索能生成有意义神经架构嵌入表示的自监督预训练技术。
• 将预训练的预测器集成到进化式NAS框架中，并在标准基准上评估其性能。

提出的方法

• 提出一种位置感知的基于路径的编码方案，可捕捉操作的位置信息并区分同构图，克服了标准基于路径编码的局限性。
• 设计一个双分支图神经网络，用于预测两个神经架构之间的图编辑距离（GED）作为自监督的代理任务。
• 提出一种中心对比学习方法，利用共享的中心特征向量将正样本对（相似架构）与负样本对（不相似架构）进行对比。
• 在小规模标注数据集上微调之前，使用这些自监督目标对神经预测器的架构嵌入模块进行预训练。
• 将预训练的神经预测器集成到进化式NAS算法中，以高效搜索高性能架构。
• 采用NASBench-101和NASBench-201作为基准数据集，在CIFAR-10、CIFAR-100和ImageNet-16-120上评估性能。

实验结果

研究问题

• RQ1 自监督预训练策略是否能在标注数据有限的情况下显著提升神经预测器在NAS中的性能？
• RQ2 位置感知的架构编码方案是否能带来优于标准基于路径编码的表示学习效果？
• RQ3 不同的自监督代理任务——GED预测与对比学习——如何影响最终预测器的准确率？
• RQ4 当集成到进化式NAS框架中时，预训练的神经预测器是否能实现最先进性能？
• RQ5 预训练对样本效率有何影响，特别是在训练数据稀缺的情况下？

主要发现

• 所提出的基于路径的位置感知编码方法能够成功区分同构但位置不同的神经架构，而标准基于路径的编码则无法做到。
• 在仅使用远少于监督方法的样本进行训练时，自监督预训练的神经预测器实现了与监督方法相当或更优的性能。
• 在NASBench-101上，该方法在CIFAR-10上实现了8.92%的测试误差，且在固定搜索预算下与ORACLE基线（8.91%）表现相当。
• 在NASBench-201上，该方法在CIFAR-10上实现了8.94%的测试误差，CIFAR-100上为26.51%，ImageNet-16-120上为53.78%，仅使用150次评估，达到最先进性能。
• 两种自监督方法——GED预测与中心对比学习——表现出不同的行为特征，表明其在表示学习中具有不同的归纳偏置。
• 将预训练的神经预测器集成到进化式NAS中后，展现出良好的泛化能力，体现出强大的样本效率与性能表现。