[论文解读] Neural Architecture Search using Deep Neural Networks and Monte Carlo Tree Search

Linnan Wang, Yiyang Zhao+3 more|arXiv (Cornell University)|May 18, 2018

Advanced Neural Network Applications参考文献 54被引用 11

一句话总结

该论文提出 AlphaX，一种基于蒙特卡洛树搜索（MCTS）的神经架构搜索代理，采用多阶段元深度神经网络（meta-DNN）预测网络准确率，并结合分布式、迁移学习增强的模拟策略以降低评估成本。在 12 个 GPU 天和 1,000 次采样内，AlphaX 在 CIFAR-10 上达到 97.84% 的 top-1 准确率，在 ImageNet 上达到 75.5%，在准确率和样本效率方面均优于当前最先进（SOTA）的 NAS 方法。

ABSTRACT

Neural Architecture Search (NAS) has shown great success in automating the design of neural networks, but the prohibitive amount of computations behind current NAS methods requires further investigations in improving the sample efficiency and the network evaluation cost to get better results in a shorter time. In this paper, we present a novel scalable Monte Carlo Tree Search (MCTS) based NAS agent, named AlphaX, to tackle these two aspects. AlphaX improves the search efficiency by adaptively balancing the exploration and exploitation at the state level, and by a Meta-Deep Neural Network (DNN) to predict network accuracies for biasing the search toward a promising region. To amortize the network evaluation cost, AlphaX accelerates MCTS rollouts with a distributed design and reduces the number of epochs in evaluating a network by transfer learning, which is guided with the tree structure in MCTS. In 12 GPU days and 1000 samples, AlphaX found an architecture that reaches 97.84\% top-1 accuracy on CIFAR-10, and 75.5\% top-1 accuracy on ImageNet, exceeding SOTA NAS methods in both the accuracy and sampling efficiency. Particularly, we also evaluate AlphaX on NASBench-101, a large scale NAS dataset; AlphaX is 3x and 2.8x more sample efficient than Random Search and Regularized Evolution in finding the global optimum. Finally, we show the searched architecture improves a variety of vision applications from Neural Style Transfer, to Image Captioning and Object Detection.

研究动机与目标

• 解决现有神经架构搜索（NAS）方法计算成本高且样本效率低的问题。
• 通过 MCTS 与在线性能建模结合，实现自适应探索与利用，提升搜索效率。
• 通过基于 MCTS 树结构引导的分布式 MCTS 模拟与迁移学习，降低网络评估成本。
• 在实际计算预算内，实现在 CIFAR-10 和 ImageNet 上的最先进性能。
• 证明所搜索架构在多样化视觉任务（包括风格迁移、目标检测和图像字幕生成）中的可迁移性。

提出的方法

• 采用蒙特卡洛树搜索（MCTS）结合树上置信上界（UCT）算法，在架构搜索过程中平衡探索与利用。
• 引入多阶段元 DNN，通过学习已知架构并泛化到未见架构，实现网络准确率预测。
• 利用迁移学习，以父网络权重初始化子网络，将训练周期从 70 个周期减少至 20 个周期，同时保持准确率。
• 实现分布式 MCTS 设计，以并行化模拟过程，加速多 GPU 上的搜索。
• 利用 MCTS 树结构指导迁移学习与模拟采样，优先聚焦于有希望的搜索区域。
• 采用分层回归方法训练元 DNN，为不同准确率范围配置专用的多层感知机（MLP），并通过门控网络选择合适的预测器。

实验结果

研究问题

• RQ1 基于 MCTS 的 NAS 是否能比随机搜索和 Q-learning 或正则化演化等贪心方法实现更高的样本效率？
• RQ2 元 DNN 是否能显著提升神经架构的准确率预测能力，从而增强搜索效率？
• RQ3 迁移学习与分布式计算在多大程度上可降低 NAS 中候选架构评估的训练成本？
• RQ4 所搜索的架构是否能在标准基准之外的多样化视觉应用中实现泛化？
• RQ5 将自适应探索与预测建模相结合，是否能加快收敛至高准确率架构的速度？

主要发现

• AlphaX 仅用 12 个 GPU 天和 1,000 次采样，就在 CIFAR-10 上达到 97.84% 的 top-1 准确率，在 ImageNet 上达到 75.5%，在准确率和样本效率方面均优于当前最先进（SOTA）的 NAS 方法。
• 在 NASBench-101 上，AlphaX 找到全局最优解的样本效率是随机搜索的 3 倍，是正则化演化的 2.8 倍。
• 多阶段元 DNN 在训练集上的相关系数达到 0.784，优于单一 MLP，且显著减少与基于 RNN 的模型相比的误判。
• 迁移学习使子网络仅用 20 个周期即可达到从零开始训练的准确率，将评估成本降低 70% 以上。
• 所搜索的架构 AlphaX-1 在下游任务中表现更优：在 COCO 上，SSD 的 mAP 从 20.1% 提升至 23.7%；在图像字幕生成任务中，BLEU 分数最高提升 4.4 分。
• 在算法对比中，AlphaX 比 Q-learning 和随机搜索更快达到全局最优（快 2.3 倍），且优于易陷入局部最优的爬山法。