[论文解读] PeerNets: Exploiting Peer Wisdom Against Adversarial Attacks

Jan Svoboda, Jonathan Masci+3 more|arXiv (Cornell University)|May 31, 2018

Adversarial Robustness in Machine Learning参考文献 45被引用 19

一句话总结

PeerNets 提出一种新颖的深度学习架构，通过交替使用欧几里得卷积与图卷积，利用同辈样本间的关系，在数据诱导的图上实现非局部特征传播。该方法在白盒和黑盒对抗攻击下实现高达3倍的鲁棒性提升，同时准确率下降极小，显著优于标准模型在通用和定向扰动下的欺骗率。

ABSTRACT

Deep learning systems have become ubiquitous in many aspects of our lives. Unfortunately, it has been shown that such systems are vulnerable to adversarial attacks, making them prone to potential unlawful uses. Designing deep neural networks that are robust to adversarial attacks is a fundamental step in making such systems safer and deployable in a broader variety of applications (e.g. autonomous driving), but more importantly is a necessary step to design novel and more advanced architectures built on new computational paradigms rather than marginally building on the existing ones. In this paper we introduce PeerNets, a novel family of convolutional networks alternating classical Euclidean convolutions with graph convolutions to harness information from a graph of peer samples. This results in a form of non-local forward propagation in the model, where latent features are conditioned on the global structure induced by the graph, that is up to 3 times more robust to a variety of white- and black-box adversarial attacks compared to conventional architectures with almost no drop in accuracy.

研究动机与目标

• 为解决深度神经网络在自动驾驶等安全关键应用中对对抗攻击的严重脆弱性问题。
• 在不损害标准准确率的前提下，提升对白盒和黑盒对抗攻击的鲁棒性。
• 探究通过数据图实现的非局部特征传播是否可作为有效正则化器以增强模型鲁棒性。
• 开发一种即插即用的架构，可轻松集成至现有 CNN 中，且仅需极少的结构修改。
• 研究同辈样本交互对对抗扰动结构与可察觉性的影响。

提出的方法

• PeerNets 在标准卷积层之间插入同辈正则化（PR）层，该层在训练样本的 k-近邻（KNN）图上执行图卷积操作。
• KNN 图基于前一层的特征嵌入构建，实现语义相似样本间的非局部特征聚合。
• 每个 PR 层在图上执行消息传递，通过可学习权重聚合邻近同辈的信息来更新特征。
• 采用蒙特卡洛采样以稳定基于图的聚合，多次运行可提升鲁棒性并降低方差。
• 模型使用标准交叉熵损失进行端到端训练，图结构在训练过程中根据特征表示动态更新。
• 该方法作为插件模块应用于 ResNet 架构，通过同辈正则化层替换或增强标准残差块。

实验结果

研究问题

• RQ1 通过同辈样本图实现的非局部特征传播是否能显著提升对对抗攻击的鲁棒性？
• RQ2 同辈正则化在通用和定向对抗扰动下对深度网络欺骗率的影响如何？
• RQ3 基于图的机制在多大程度上改变了对抗噪声的结构与可察觉性？
• RQ4 同辈正则化能否作为有效正则化器，使更高容量模型在不发生过拟合的情况下运行？
• RQ5 图大小和蒙特卡洛采样次数的选择如何影响鲁棒性与准确率之间的权衡？

主要发现

• PeerNets 在对抗攻击下的鲁棒性相比标准 ResNets 最高提升 3 倍，在 CIFAR-10 上 ρ=0.10 时欺骗率为 28.8%，而 ResNet-32 为 77.34%。
• 在 CIFAR-100 上，使用 500 个图邻居和 5 次蒙特卡洛运行的 PR-ResNet-110 将欺骗率降低至 ρ=0.06 时的 49.54%，而标准 ResNet-110 为 86.56%。
• PR-ResNet-32 v2 变体（特征图数量加倍）在原始准确率达 90.72% 的同时，ρ=0.04 时欺骗率仅为 11.05%，在鲁棒性上优于 ResNet-32 v2，且准确率损失极小。
• PeerNets 的对抗扰动表现出更局部化、结构化的噪声，尤其在背景区域更为明显，相比标准模型中的随机噪声更易被人眼察觉。
• 基于图的机制起到了强正则化作用，使更高容量模型（如 v2 变体）能够达到最先进准确率而不发生过拟合。
• PeerNets 在多种攻击类型下均保持高性能，包括通用攻击、定向攻击和非定向攻击，展现出全面的鲁棒性。