[论文解读] Multi-shot NAS for Discovering Adversarially Robust Convolutional Neural Architectures at Targeted Capacities.

Xuefei Ning, Junbo Zhao+4 more|arXiv (Cornell University)|Dec 22, 2020

Adversarial Robustness in Machine Learning参考文献 27被引用 4

一句话总结

该论文提出了一种多 shot NAS 框架，通过在多个超网络中进行内部外推以估计奖励，实现在目标 FLOPs 下发现对抗性鲁棒的 CNN 架构，从而实现容量对齐的搜索。在 1560M FLOPs 下，MSRobNet-1560 实现了 84.8% 的干净准确率和 52.9% 的 PGD100 鲁棒准确率，优于在相似容量约束下的 RobNet-free。

ABSTRACT

Convolutional neural networks (CNNs) are vulnerable to adversarial examples, and studies show that increasing the model capacity of an architecture topology (e.g., width expansion) can bring consistent robustness improvements. This reveals a clear robustness-efficiency trade-off that should be considered in architecture design. Recent studies have employed one-shot neural architecture search (NAS) to discover adversarially robust architectures. However, since the capacities of different topologies cannot be easily aligned during the search process, current one-shot NAS methods might favor topologies with larger capacity in the supernet. And the discovered topology might be sub-optimal when aligned to the targeted capacity. This paper proposes a novel multi-shot NAS method to explicitly search for adversarially robust architectures at a certain targeted capacity. Specifically, we estimate the reward at the targeted capacity using interior extra-polation of the rewards from multiple supernets. Experimental results demonstrate the effectiveness of the proposed method. For instance, at the targeted FLOPs of 1560M, the discovered MSRobNet-1560 (clean 84.8%, PGD100 52.9%) outperforms the recent NAS-discovered architecture RobNet-free (clean 82.8%, PGD100 52.6%) with similar FLOPs. Codes are available at this https URL.

研究动机与目标

• 通过实现目标容量搜索，解决 CNN 架构设计中的鲁棒性-效率权衡问题。
• 克服单 shot NAS 因超网络容量错配而倾向于高容量拓扑的局限性。
• 开发一种方法，利用多个超网络在特定目标容量下估计鲁棒性奖励。
• 发现既鲁棒又高效且符合预设计算预算的架构。
• 在相似 FLOPs 下，超越现有 NAS 发现的模型（如 RobNet-free），实现更高的鲁棒性和准确率。

提出的方法

• 该方法使用多个容量水平不同的超网络，以实现容量感知的架构搜索。
• 它利用内部外推法，估计在任一单个超网络中均未直接包含的目标容量下的奖励（例如，鲁棒准确率）。
• 奖励估计基于在不同宽度或深度的多个超网络中观察到的性能趋势。
• 搜索过程选择在目标 FLOPs 下估计奖励最大的架构路径。
• 该方法实现了在容量对齐的架构之间进行公平比较与优化。
• 最终架构在目标 FLOPs 下进行训练和评估，以验证其鲁棒性和准确率。

实验结果

研究问题

• RQ1 多 shot NAS 是否能提升在特定目标 FLOPs 下对抗性鲁棒 CNN 的发现？
• RQ2 在多个超网络中对奖励进行内部外推，是否能带来比单 shot NAS 更优的容量对齐架构搜索？
• RQ3 所提出的方法是否能在相似 FLOPs 下，同时优于现有 NAS 发现的模型（如 RobNet-free）在干净准确率和鲁棒准确率上的表现？
• RQ4 当架构与精确计算预算对齐时，其性能如何变化？
• RQ5 单 shot NAS 中的容量错配在多大程度上会 bias 搜索过程，使其倾向于高容量、次优的拓扑结构？

主要发现

• 在 1560M FLOPs 下，MSRobNet-1560 实现了 84.8% 的干净准确率和 52.9% 的 PGD100 鲁棒准确率，优于 RobNet-free。
• RobNet-free 在相似 FLOPs 下实现 82.8% 的干净准确率和 52.6% 的 PGD100 鲁棒准确率，证实了所提方法的性能提升。
• 多 shot NAS 方法通过内部外推成功估计了目标容量下的奖励，实现了公平且准确的搜索。
• 该方法通过在搜索过程中对齐容量，缓解了单 shot NAS 中观察到的对高容量拓扑的 bias。
• 所发现的架构在不同 FLOP 水平下均表现出一致的鲁棒性提升，验证了该方法的可扩展性。
• 该方法能够发现既高效又有效的鲁棒架构，且符合预设的计算预算。