[论文解读] Neural Architecture Search Over a Graph Search Space
本文提出一种基于图的神经架构搜索（NAS）搜索空间，将架构决策建模为顶点，动作建模为有向边，从而支持对迭代和分支搜索模式的动态探索。动态神经控制器学习在这些图中遍历，提升了样本效率——在训练时间更短、模型更小的情况下，CIFAR-10 上达到 84% 的准确率，优于线性搜索空间的 82%。
Neural Architecture Search (NAS) enabled the discovery of state-of-the-art architectures in many domains. However, the success of NAS depends on the definition of the search space. Current search spaces are defined as a static sequence of decisions and a set of available actions for each decision. Each possible sequence of actions defines an architecture. We propose a more expressive class of search space: directed graphs. In our formalism, each decision is a vertex and each action is an edge. This allows us to model iterative and branching architecture design decisions. We demonstrate in simulation, and on image classification experiments, basic iterative and branching search structures, and show that the graph representation improves sample efficiency.
研究动机与目标
- 解决线性搜索空间在NAS中的局限性，后者无法高效建模分支或迭代设计决策。
- 支持更具表现力和灵活性的搜索空间，以支持动态、条件性和递归的架构设计模式。
- 通过允许控制器探索复杂、非线性的决策路径，提升NAS中的样本效率。
- 开发一种能够根据图中当前状态自适应调整架构的动态神经控制器。
- 在图像分类基准上验证基于图的搜索空间的有效性，展示更快的收敛速度和更优的性能。
提出的方法
- 将搜索空间建模为有向图 G = (V, A)，其中顶点表示决策状态，边表示动作。
- 将架构定义为从起始顶点到终止顶点的路径，支持可变长度序列及状态的重复访问。
- 设计一种基于RNN的动态控制器，根据图中当前顶点动态调整其内部状态和动作分布。
- 基于已访问顶点的历史信息条件化动作概率，实现在复杂搜索路径中的上下文感知决策。
- 使用强化学习训练控制器，奖励基于生成架构在下游任务上的性能。
- 实现一种优先队列训练算法，以在资源受限环境下提升样本效率。
实验结果
研究问题
- RQ1基于图的搜索空间是否能更好地表示复杂的非线性架构设计模式，如分支与迭代？
- RQ2将NAS建模为在图上的动态游走，是否相比固定序列方法能提升样本效率？
- RQ3动态神经控制器是否能有效学习导航复杂的图结构化搜索空间？
- RQ4在最终准确率和收敛速度方面，基于图的NAS方法与线性搜索空间相比表现如何？
- RQ5基于图的搜索空间在多大程度上能够捕捉线性序列难以建模的迭代或条件性设计决策？
主要发现
- 在仅使用 20 个训练周期的条件下，基于图的搜索空间在 CIFAR-10 上实现了 84% 的 top-1 准确率，优于线性搜索空间在相同条件下的 82%。
- 在 ImageNet 上，图搜索空间收敛更快且达到更高准确率，表明优化动力学得到改善。
- 动态控制器成功导航了包含分支与迭代的复杂路径，实现了对条件性设计模式的高效探索。
- 样本效率显著提升，表现为在更少架构采样和更短训练时间下性能更优。
- 该方法实现了此前难以实现的搜索模式建模，例如仅针对所选优化器选择超参数，而非所有选项。
- 结果验证了基于图的搜索空间在NAS中比线性序列更具表现力和有效性，尤其在复杂设计场景中。
更好的研究，从现在开始
从论文设计到论文写作，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。