[论文解读] Optimal Transport Kernels for Sequential and Parallel Neural Architecture Search

Vu Nguyen, Tam Le+2 more|arXiv (Cornell University)|Jun 13, 2020

Machine Learning and Algorithms参考文献 71被引用 10

一句话总结

本文提出一种新颖的树-Wasserstein（TW）距离，用于神经架构搜索（NAS），可在高斯过程（GP）模型和k-确定性点过程（k-DPP）中实现正定核，从而支持并行NAS。通过n-gram及入度/出度特征编码架构，TW能够捕捉全局与局部结构，在顺序和并行NAS设置中均表现优于基线方法，且计算更快、可扩展性更强。

ABSTRACT

Neural architecture search (NAS) automates the design of deep neural networks. One of the main challenges in searching complex and non-continuous architectures is to compare the similarity of networks that the conventional Euclidean metric may fail to capture. Optimal transport (OT) is resilient to such complex structure by considering the minimal cost for transporting a network into another. However, the OT is generally not negative definite which may limit its ability to build the positive-definite kernels required in many kernel-dependent frameworks. Building upon tree-Wasserstein (TW), which is a negative definite variant of OT, we develop a novel discrepancy for neural architectures, and demonstrate it within a Gaussian process surrogate model for the sequential NAS settings. Furthermore, we derive a novel parallel NAS, using quality k-determinantal point process on the GP posterior, to select diverse and high-performing architectures from a discrete set of candidates. Empirically, we demonstrate that our TW-based approaches outperform other baselines in both sequential and parallel NAS.

研究动机与目标

• 解决使用对结构复杂度具有鲁棒性的相似性度量来比较复杂、非连续神经架构的挑战。
• 通过开发一种负定变体（树-Wasserstein）以克服最优传输（OT）在NAS中的局限性，确保高斯过程中正半定核的有效性。
• 通过设计基于GP后验方差的k-确定性点过程（k-DPP），实现高效并行NAS，从离散候选中选择多样化且高性能的架构。
• 通过所提出的基于TW的框架，在顺序和并行NAS设置中均实现性能提升。
• 通过利用TW的闭式计算，确保计算可扩展性与大规模架构的兼容性，避免计算量巨大的OT方法。

提出的方法

• 设计一种新颖的树-Wasserstein（TW）距离，利用n-gram与入度/出度表示来编码神经架构结构，捕捉局部与全局特征。
• 从TW构建正半定（p.s.d.）核，用于顺序NAS中的高斯过程（GP）代理模型，确保有效的概率推理。
• 利用GP后验分布指导k-确定性点过程（k-DPP），在并行NAS中选择多样化且高性能的架构，避免贪婪选择。
• 基于GP预测方差制定k-DPP质量函数，实现对多样化、高精度候选的批量获取。
• 实现TW距离的闭式计算，时间复杂度与树中边数呈线性关系，优于超立方级的OT方法。
• 在顺序NAS中将TW与标准获取函数（如GP-UCB、EI）集成，并在NASBench101与NASBench201基准上评估性能。

实验结果

研究问题

• RQ1 能否构建最优传输（OT）的负定变体，以在神经架构搜索的高斯过程模型中实现有效的正半定核？
• RQ2 所提出的树-Wasserstein（TW）距离在捕捉NAS中架构相似性方面，相较于传统OT及其他相似性度量表现如何？
• RQ3 基于GP后验方差的k-确定性点过程（k-DPP）能否在并行NAS中有效选择多样化且高性能的架构？
• RQ4 不同获取函数（如UCB与EI）对所提出的GP-TW框架在顺序NAS中的性能有何影响？
• RQ5 在固定时钟时间预算下，批量大小对所提出的并行NAS方法性能有何影响？

主要发现

• 所提出的树-Wasserstein（TW）距离使高斯过程模型能够使用有效的正半定核，克服了标准最优传输的不定性问题。
• GP-TW框架在NASBench101与NASBench201上的顺序NAS中优于基线方法，以更少的评估次数达到更高的测试准确率。
• 基于k-DPP的并行NAS方法在NASBench101上持续实现最先进性能，且在多种批量大小下均表现出更优的准确率与多样性。
• TW距离支持闭式计算，时间复杂度为线性，显著快于基于OT的方法，尤其在大规模架构中优势明显。
• 在所提出的NAS框架中，GP-UCB获取函数优于GP-EI，与Bananas等先前基准的发现一致。
• 在固定时钟时间预算下，随着批量大小增加，性能持续提升，证实了基于k-DPP的批量选择策略具备可扩展性与有效性。