[论文解读] Self-supervised Neural Architecture Search

Sapir Kaplan, Raja Giryes|arXiv (Cornell University)|Jul 3, 2020

Anomaly Detection Techniques and Applications参考文献 44被引用 11

一句话总结

该论文提出自监督神经架构搜索（SSNAS），一种通过使用对比自监督损失来发现高性能神经网络架构的方法，无需依赖标注数据。该方法在性能上达到监督NAS的水平，并在标签稀缺时显著提升自监督学习效果，证明了NAS与SSL可相互促进。

ABSTRACT

Neural Architecture Search (NAS) has been used recently to achieve improved performance in various tasks and most prominently in image classification. Yet, current search strategies rely on large labeled datasets, which limit their usage in the case where only a smaller fraction of the data is annotated. Self-supervised learning has shown great promise in training neural networks using unlabeled data. In this work, we propose a self-supervised neural architecture search (SSNAS) that allows finding novel network models without the need for labeled data. We show that such a search leads to comparable results to supervised training with a "fully labeled" NAS and that it can improve the performance of self-supervised learning. Moreover, we demonstrate the advantage of the proposed approach when the number of labels in the search is relatively small.

研究动机与目标

• 解决当前神经架构搜索（NAS）方法依赖大规模标注数据集进行有效架构搜索的局限性。
• 探索仅使用无标签数据并通过自监督学习（SSL）是否能有效执行架构搜索。
• 研究自监督NAS是否能提升下游自监督表示学习的性能。
• 评估在搜索过程中仅提供少量标注样本时所提方法的鲁棒性。
• 证明NAS与SSL之间的相互增益：NAS提升SSL，SSL则提升NAS的搜索效率与性能。

提出的方法

• 将可微分架构搜索（DARTS）框架改编为使用对比自监督损失，而非监督损失。
• 通过生成同一输入图像的两个增强视图，应用SimCLR对比学习目标，最大化其表示的相似性。
• 对两个增强视图使用共享主干网络并共享权重，实现端到端的梯度优化训练。
• 通过在验证集上优化架构参数α，同时在独立的训练集上训练网络权重，完成架构搜索。
• 限制批量大小以适配标准GPU内存，确保计算效率与实用性。
• 采用对比损失函数，促使正样本对（同一图像的增强视图）表示相似，而负样本对表示不相似。

实验结果

研究问题

• RQ1 能否在完全无标注数据的情况下，通过自监督学习有效执行神经架构搜索？
• RQ2 自监督NAS在最终模型准确率方面是否能达到与监督NAS相当的性能？
• RQ3 通过自监督搜索发现的架构是否能提升下游自监督表示学习的性能？
• RQ4 在监督NAS表现受限的低标签场景下，SSNAS表现如何？
• RQ5 NAS与SSL之间的协同效应是否能产生优于单一方法的视觉表征？

主要发现

• SSNAS在CIFAR-10和CIFAR-100上的测试准确率与监督NAS相当，证明了无标签架构搜索的有效性。
• 在CIFAR-10上，SSNAS采用一阶近似方法达到94.73%的测试准确率，与监督DARTS的94.87%非常接近。
• 在低标签场景下，SSNAS优于监督NAS，表明在每类仅提供少量标注样本时仍具鲁棒性。
• 使用SSNAS发现的模型进行预训练，显著提升了STL-10上的半监督学习性能，达到86.70%的测试准确率，优于ResNet-18或随机初始化。
• 在搜索过程中分离训练集与验证集，相比使用单一共享数据集，性能提升0.63%，证实了在基于SSL的NAS中数据分离的优势。
• 研究证实NAS与SSL可相互促进：SSNAS增强了SSL，而SSL使无标签下的有效NAS成为可能。