[论文解读] Semi-Supervised Neural Architecture Search

Renqian Luo, Xu Tan+4 more|arXiv (Cornell University)|Feb 24, 2020

Advanced Neural Network Applications参考文献 45被引用 43

一句话总结

SemiNAS 使用一个半监督的准确性预测器，在少量架构-准确性对以及大量未标记的架构上进行训练，用于引导 NAS，在 NASBench-101、ImageNet 和 TTS 任务中降低成本并提升准确性。

ABSTRACT

Neural architecture search (NAS) relies on a good controller to generate better architectures or predict the accuracy of given architectures. However, training the controller requires both abundant and high-quality pairs of architectures and their accuracy, while it is costly to evaluate an architecture and obtain its accuracy. In this paper, we propose SemiNAS, a semi-supervised NAS approach that leverages numerous unlabeled architectures (without evaluation and thus nearly no cost). Specifically, SemiNAS 1) trains an initial accuracy predictor with a small set of architecture-accuracy data pairs; 2) uses the trained accuracy predictor to predict the accuracy of large amount of architectures (without evaluation); and 3) adds the generated data pairs to the original data to further improve the predictor. The trained accuracy predictor can be applied to various NAS algorithms by predicting the accuracy of candidate architectures for them. SemiNAS has two advantages: 1) It reduces the computational cost under the same accuracy guarantee. On NASBench-101 benchmark dataset, it achieves comparable accuracy with gradient-based method while using only 1/7 architecture-accuracy pairs. 2) It achieves higher accuracy under the same computational cost. It achieves 94.02% test accuracy on NASBench-101, outperforming all the baselines when using the same number of architectures. On ImageNet, it achieves 23.5% top-1 error rate (under 600M FLOPS constraint) using 4 GPU-days for search. We further apply it to LJSpeech text to speech task and it achieves 97% intelligibility rate in the low-resource setting and 15% test error rate in the robustness setting, with 9%, 7% improvements over the baseline respectively.

研究动机与目标

• 降低在 NAS 中评估架构的高成本的动机。
• 开发一个半监督框架，以利用未标记的架构。
• 证明半监督预测器能够以较低成本实现与之相当或更高的准确度来引导 NAS。

提出的方法

• 在一小组标记的架构-准确性对上训练一个 encoder-predictor-decoder 的准确性预测器。
• 使用预测器对大量未标记的架构分配伪标签。
• 用真实标签数据和伪标签数据联合训练预测器和自编码器。
• 通过在预测器嵌入空间的梯度上升迭代生成新架构并仅评估子集。
• 在 NAO 框架内应用该方法并展示与常规与一次性 NAS 的兼容性。
• 与基线方法相比，如随机搜索、正则化进化和标准 NAO。

实验结果

研究问题

• RQ1 未标记的架构是否可以通过半监督预测器有效地用于丰富 NAS 训练数据？
• RQ2 相对于传统和一次性 NAS，SemiNAS 是否在降低计算成本的同时维持或提高准确性？
• RQ3 半监督预测器在 NASBench-101、ImageNet 和 TTS 任务中的泛化能力如何？

主要发现

• 在 NASBench-101 上，SemiNAS 使用 2000 次查询达到 94.02% 的测试准确率，在同等成本下超越所有基线。
• 在 300 次查询下，SemiNAS 达到 93.89% 的测试准确率，可与使用 2000 次查询的 NAO 相竞争。
• 在 NASBench-101 使用 1000 个标记和 10000 个未标记架构的 SemiNAS，在测试准确性方面超越基线并降低遗憾。
• 在 600M FLOPS 的约束下，ImageNet 上 SemiNAS 实现 23.5% 的 top-1 错误率，优于 NAO 和 ProxylessNAS 基线。
• 在 LJSpeech 的 TTS 中，SemiNAS 实现 97% 的可懂度（低资源）和 15% 的句子错误率（鲁棒性），相比 Transformer TTS 和 NAO 有所提升。
• SemiNAS 还实现了更高的对角聚焦率（DFR）和 MOS，相较于竞争的 TTS 模型，表明注意力对齐和感知质量更好。