[论文解读] Neural Architecture Search with Bayesian Optimisation and Optimal Transport

Kirthevasan Kandasamy, Willie Neiswanger+3 more|arXiv (Cornell University)|Feb 11, 2018

Machine Learning and Algorithms参考文献 50被引用 265

一句话总结

NASBOT 在神经架构上进行贝叶斯优化，使用新颖的 OTMANN 距离与进化策略来优化获取函数，在 MLP/CNN 模型选择任务上优于基线。

ABSTRACT

Bayesian Optimisation (BO) refers to a class of methods for global optimisation of a function $f$ which is only accessible via point evaluations. It is typically used in settings where $f$ is expensive to evaluate. A common use case for BO in machine learning is model selection, where it is not possible to analytically model the generalisation performance of a statistical model, and we resort to noisy and expensive training and validation procedures to choose the best model. Conventional BO methods have focused on Euclidean and categorical domains, which, in the context of model selection, only permits tuning scalar hyper-parameters of machine learning algorithms. However, with the surge of interest in deep learning, there is an increasing demand to tune neural network \emph{architectures}. In this work, we develop NASBOT, a Gaussian process based BO framework for neural architecture search. To accomplish this, we develop a distance metric in the space of neural network architectures which can be computed efficiently via an optimal transport program. This distance might be of independent interest to the deep learning community as it may find applications outside of BO. We demonstrate that NASBOT outperforms other alternatives for architecture search in several cross validation based model selection tasks on multi-layer perceptrons and convolutional neural networks.

研究动机与目标

• 由于网络评估成本高昂，推动高效的神经架构搜索。
• 引入通过最优传输计算的架构距离度量（OTMANN）。
• 开发 NASBOT，一个基于高斯过程的架构贝叶斯优化框架。
• 在多个数据集上展示 NASBOT 相对于基线的优越表现。

提出的方法

• 将神经架构定义为具有层质量与基于路径长度的结构信息的图。
• 提出 OTMANN 距离：在层之间的质量传输上的最小化，包含标签不匹配、非分配以及结构惩罚。
• 将 OTMANN 表述为一个最优传输程序，带有核 ￿e^{- ￿β d^p} 可以输入高斯过程。
• 构建 NASBOT：一个使用 GP 先验与 EI 获取函数的贝叶斯优化方法，并结合进化算法来优化获取。
• 通过变异扩增架构空间以探索候选架构。
• 提供实际实现并讨论扩展以扩展到大型搜索空间。

实验结果

研究问题

• RQ1 贝叶斯优化如何在离散神经架构上高效进行？
• RQ2 采用 OTMANN 的 NASBOT 在跨任务的架构搜索中是否优于基线（RAND、EA、TreeBO）？
• RQ3 架构距离（OTMANN）的哪些特征与泛化性能相关？
• RQ4 NASBOT 能否同时处理 MLP 和 CNN 的搜索空间，并能否在并行评估下扩展？

主要发现

• NASBOT 在多种回归和分类数据集的交叉验证结果中持续优于 RAND、EA 和 TreeBO 基线。
• NASBOT 在若干数据集上获得最佳测试性能（如 Blogs、Indoor、Slice、Naval、Protein、News、CIFAR-10）。
• 该方法展示了对架构空间的高效导航，较基线更快收敛到高性能模型。
• OT MANN 距离提供了对架构之间有意义的相似性评估，使基于 GP 的架构搜索贝叶斯优化有效。
• 作者提供了 OTMANN 和 NASBOT 的 Python 实现。
• 在 CIFAR-10 上，NASBOT 找到了具竞争力的模型并进一步训练以展现强的测试性能。