[论文解读] Neural Architecture Dilation for Adversarial Robustness

Yanxi Li, Zhaohui Yang+2 more|arXiv (Cornell University)|Aug 16, 2021

Adversarial Robustness in Machine Learning参考文献 34被引用 10

一句话总结

本文提出神经架构膨胀方法以提升对抗鲁棒性（NADAR），通过在预训练卷积神经网络中战略性地进行架构膨胀，在最小化准确率下降的前提下增强其对抗鲁棒性。通过在FLOPs约束下对标准准确率和对抗准确率分别优化，NADAR在CIFAR-10和ImageNet上实现了当前最优的鲁棒性-准确率权衡表现。

ABSTRACT

With the tremendous advances in the architecture and scale of convolutional neural networks (CNNs) over the past few decades, they can easily reach or even exceed the performance of humans in certain tasks. However, a recently discovered shortcoming of CNNs is that they are vulnerable to adversarial attacks. Although the adversarial robustness of CNNs can be improved by adversarial training, there is a trade-off between standard accuracy and adversarial robustness. From the neural architecture perspective, this paper aims to improve the adversarial robustness of the backbone CNNs that have a satisfactory accuracy. Under a minimal computational overhead, the introduction of a dilation architecture is expected to be friendly with the standard performance of the backbone CNN while pursuing adversarial robustness. Theoretical analyses on the standard and adversarial error bounds naturally motivate the proposed neural architecture dilation algorithm. Experimental results on real-world datasets and benchmark neural networks demonstrate the effectiveness of the proposed algorithm to balance the accuracy and adversarial robustness.

研究动机与目标

• 解决深度卷积神经网络中标准准确率与对抗鲁棒性之间的固有权衡问题。
• 在不降低其标准准确率的前提下，提升高性能主干网络的对抗鲁棒性。
• 开发一种神经架构搜索方法，通过结构化膨胀系统性地提升鲁棒性。
• 通过引入FLOPs感知的架构优化，确保计算开销最小化。
• 为膨胀框架在提升鲁棒性边界方面的有效性提供理论依据。

提出的方法

• 提出一种神经架构膨胀框架，向现有主干卷积神经网络添加一个独立的轻量化膨胀分支。
• 使用分别针对标准准确率和对抗鲁棒性的目标函数对膨胀网络进行优化，实现训练过程的解耦。
• 施加标准准确率约束，以防止原始主干网络性能下降。
• 采用FLOPs感知的搜索策略控制计算成本，保持高效性。
• 借助理论分析推导标准误差与对抗误差的边界，为约束优化目标的设计提供理论支持。
• 使用基于PGD的对抗训练方法训练混合网络，采用改进的目标函数以平衡自然准确率与鲁棒准确率。

实验结果

研究问题

• RQ1 架构修改是否能在不牺牲标准准确率的前提下提升对抗鲁棒性？
• RQ2 解耦标准准确率与对抗鲁棒性训练目标，对最终的鲁棒性-准确率权衡有何影响？
• RQ3 FLOPs感知的架构搜索在多大程度上能维持计算效率的同时增强鲁棒性？
• RQ4 所提出的膨胀框架是否在标准基准上优于现有的对抗训练与NAS-based防御方法？
• RQ5 该方法在不同源网络下的黑盒攻击场景中表现如何？

主要发现

• NADAR-B在AutoAttack（APGD-CE、APGD-DLR、FAB、Square）下实现59.33%的对抗准确率，优于CIFAR-10上的PGD-7、FastAT和FreeAT-8。
• NADAR-A在AutoAttack下实现58.69%的对抗准确率，较PGD-7高出6.74–8.98%，并达到TRADES-6的性能水平。
• 在黑盒攻击下，NADAR-B在所有攻击类型（包括FGSM、PGD-20、PGD-100和MI-FGSM）中均保持优异性能，且在不同源网络攻击下表现稳定。
• 消融研究证实，独立优化目标与标准准确率约束均至关重要：若移除二者，对抗准确率最高下降5.5%。
• 在标准准确率约束下，NADAR实现85.97%的标准准确率与53.18%的对抗准确率，显著优于无约束的联合训练方法。
• 该方法保持极低的FLOPs开销，证明架构膨胀可在不显著增加计算成本的前提下有效提升鲁棒性。