[论文解读] Synthetic Petri Dish: A Novel Surrogate Model for Rapid Architecture Search

Aditya Rawal, Joel Lehman+3 more|arXiv (Cornell University)|May 27, 2020

Service-Oriented Architecture and Web Services参考文献 22被引用 4

一句话总结

本文提出了合成培养皿（Synthetic Petri Dish），一种用于神经架构搜索（NAS）的新型代理模型，通过在合成数据上训练的微型化网络测试架构基元，显著加速了评估过程。该方法在受控且计算高效的环境中保留了真实模型的学习动态，相比黑箱代理模型，预测精度更高，尤其在真实数据有限的情况下表现更优，使NAS能够在仅使用最先进的方法1/10计算量的情况下找到高性能架构。

ABSTRACT

Neural Architecture Search (NAS) explores a large space of architectural motifs -- a compute-intensive process that often involves ground-truth evaluation of each motif by instantiating it within a large network, and training and evaluating the network with thousands of domain-specific data samples. Inspired by how biological motifs such as cells are sometimes extracted from their natural environment and studied in an artificial Petri dish setting, this paper proposes the Synthetic Petri Dish model for evaluating architectural motifs. In the Synthetic Petri Dish, architectural motifs are instantiated in very small networks and evaluated using very few learned synthetic data samples (to effectively approximate performance in the full problem). The relative performance of motifs in the Synthetic Petri Dish can substitute for their ground-truth performance, thus accelerating the most expensive step of NAS. Unlike other neural network-based prediction models that parse the structure of the motif to estimate its performance, the Synthetic Petri Dish predicts motif performance by training the actual motif in an artificial setting, thus deriving predictions from its true intrinsic properties. Experiments in this paper demonstrate that the Synthetic Petri Dish can therefore predict the performance of new motifs with significantly higher accuracy, especially when insufficient ground truth data is available. Our hope is that this work can inspire a new research direction in studying the performance of extracted components of models in an alternative controlled setting.

研究动机与目标

• 为解决在NAS中通过完整训练评估神经架构基元所带来的高计算成本问题。
• 通过将真实模型中的内在学习动态嵌入简化评估环境，提升代理模型的预测精度。
• 通过极少的真实评估数据，实现实现新基元的快速、可靠性能预测。
• 探究在低数据环境下，合成诊断环境是否能比黑箱预测模型具有更好的泛化能力。

提出的方法

• 从全尺寸训练网络中提取架构基元，并将其实例化为小型紧凑网络（基元网络）。
• 通过学习到的分布生成合成数据，使得基元在合成环境中的相对性能排序与真实性能排序一致。
• 通过在少量合成样本上训练每个基元并测量其在微型化环境中的性能，对合成培养皿中的每个基元进行评估。
• 仅使用少量真实评估数据（例如15个点）对代理模型进行训练，从而实现NAS过程的高效冷启动。
• 将NAS算法（GA与NAO）与合成培养皿结合，仅使用代理模型中表现最佳的基元进行后续完整训练。
• 该方法利用真实模型的内在学习动态，将真实先验知识嵌入预测过程，而非依赖抽象的架构解析。

实验结果

研究问题

• RQ1 与黑箱代理模型相比，微型化、合成化评估环境是否能更好地保持神经架构基元的性能排序？
• RQ2 在真实数据稀缺的情况下，将真实学习动态嵌入代理模型是否能提升泛化能力？
• RQ3 合成培养皿是否能显著减少NAS中昂贵的真实评估次数，同时保持或提升最终性能？
• RQ4 在等效计算约束下，合成培养皿的性能与NAO等最先进NAS方法相比如何？

主要发现

• 在最佳循环单元的测试中，合成培养皿的困惑度达到57.1，优于原始NAO方法（56.0），且两者使用了相同数量的真实评估数据。
• 当允许使用更多真实评估数据时，合成培养皿-NAO变体仅用1/10的计算量就达到了原始NAO的性能水平，展现出显著的效率优势。
• 在S型斜率实验中，合成培养皿正确推断出左侧存在性能峰值并伴随急剧下降，而神经网络代理模型未能在训练数据之外实现泛化。
• 该方法的预测精度高于黑箱模型，因其嵌入了真实训练过程中的学习动态与先验知识。
• 该方法实现了与GA和NAO的混合NAS，其性能优于基线方法及其自身变体，表明代理模型与优化算法之间存在显著协同效应。
• 在低数据环境下，合成培养皿展现出更优的泛化能力，而黑箱模型常因缺乏归纳偏置而失效。