[论文解读] NAS-Navigator: Visual Steering for Explainable One-Shot Deep Neural Network Synthesis

Anjul Tyagi, Cong Xie+1 more|arXiv (Cornell University)|Sep 28, 2020

Adversarial Robustness in Machine Learning被引用 4

一句话总结

NAS-Navigator 是一个可视化分析系统，通过将迭代式进化搜索算法与交互式可视化界面相结合，实现可解释的、人机协同的单次神经架构搜索。它使非专家用户能够通过直观的视觉反馈引导搜索过程，从而在保持较低计算成本的同时，提高搜索效率和性能，优于当前最先进的方法。

ABSTRACT

Recent advancements in the area of deep learning have shown the effectiveness of very large neural networks in several applications. However, as these deep neural networks continue to grow in size, it becomes more and more difficult to configure their many parameters to obtain good results. Presently, analysts must experiment with many different configurations and parameter settings, which is labor-intensive and time-consuming. On the other hand, the capacity of fully automated techniques for neural network architecture search is limited without the domain knowledge of human experts. To deal with the problem, we formulate the task of neural network architecture optimization as a graph space exploration, based on the one-shot architecture search technique. In this approach, a super-graph of all candidate architectures is trained in one-shot and the optimal neural network is identified as a sub-graph. In this paper, we present a framework that allows analysts to effectively build the solution sub-graph space and guide the network search by injecting their domain knowledge. Starting with the network architecture space composed of basic neural network components, analysts are empowered to effectively select the most promising components via our one-shot search scheme. Applying this technique in an iterative manner allows analysts to converge to the best performing neural network architecture for a given application. During the exploration, analysts can use their domain knowledge aided by cues provided from a scatterplot visualization of the search space to edit different components and guide the search for faster convergence. We designed our interface in collaboration with several deep learning researchers and its final effectiveness is evaluated with a user study and two case studies.

研究动机与目标

• 解决自动化单次神经架构搜索（NAS）在深度学习中缺乏可解释性和用户控制的问题。
• 通过参数共享和进化搜索，降低 NAS 的计算负担，同时保持高性能。
• 通过可视化工具赋能非专家用户，使其能够利用领域知识引导搜索过程。
• 通过交互式可视化反馈和人机协同控制，缩短搜索收敛时间并提升最终模型的准确率。
• 通过专家访谈、受控实验和案例研究，评估系统的有效性。

提出的方法

• 该系统使用一个包含参数共享的大规模模板神经网络，以表示候选架构的整个搜索空间。
• 一种迭代式进化算法从模板中采样并评估候选网络，基于验证准确率计算适应度分数。
• 多视图可视化界面包括：用于模板设计的“乐高视图”、用于训练进度的“损失图表视图”，以及用于在散点图中可视化候选架构的“搜索空间视图”。
• 在“候选信息视图”中计算并显示每个候选网络中节点的适应度分数，以指导用户决策。
• 用户可根据适应度分数暂停、停止或编辑模板网络，从而实现搜索空间的针对性缩减和架构的精细化调整。
• 系统通过允许用户应用软约束（例如模型大小与准确率的权衡）并跟踪搜索随时间的演化，支持人机协同控制。

实验结果

研究问题

• RQ1 可视化分析如何提升单次神经架构搜索中的可解释性和用户控制？
• RQ2 与完全自动化的 NAS 方法相比，交互式可视化引导是否能减少搜索时间并提升性能？
• RQ3 领域专家如何看待该可视化分析界面在 NAS 中的可用性和有效性？
• RQ4 用户引导的干预在多大程度上能够加速收敛至高性能架构？
• RQ5 哪些可视化设计模式最能支持对复杂 NAS 搜索过程的理解与控制？

主要发现

• NAS-Navigator 改进后的单次 NAS 算法在最终模型准确率方面与当前最先进的技术相当。
• 将可视化分析与人机协同交互相结合，相较于完全自动化的方法，进一步提升了搜索时间和性能。
• 专家参与者表示，少量、有信息量的用户交互显著影响了搜索收敛时间和最终模型质量。
• 参与者认为，通过单一散点图视图可视化候选架构，对引导搜索和识别有潜力的区域非常有帮助。
• 反馈表明，可视化适应度分数随迭代过程的演变将更有助于决策，提示需要增加时间序列追踪功能。
• 在专家访谈中，系统获得广泛好评，用户赞赏其在 NAS 过程中提供的透明度和控制力。