[论文解读] Robustness of Rotation-Equivariant Networks to Adversarial Perturbations

Béranger Dumont, Simona Maggio+1 more|arXiv (Cornell University)|Feb 19, 2018

Adversarial Robustness in Machine Learning参考文献 16被引用 16

一句话总结

本文研究了旋转等变卷积神经网络（G-CNNs、H-Nets、ORNs）在MNIST、CIFAR-10和ImageNet上对几何对抗攻击的鲁棒性。结果表明，旋转等变架构显著降低了针对旋转和位移扰动的攻击成功率，CIFAR-10上攻击成功率（ASR）下降高达33%，ImageNet上下降19%，表明其对几何变换具有固有的鲁棒性。

ABSTRACT

Deep neural networks have been shown to be vulnerable to adversarial examples: very small perturbations of the input having a dramatic impact on the predictions. A wealth of adversarial attacks and distance metrics to quantify the similarity between natural and adversarial images have been proposed, recently enlarging the scope of adversarial examples with geometric transformations beyond pixel-wise attacks. In this context, we investigate the robustness to adversarial attacks of new Convolutional Neural Network architectures providing equivariance to rotations. We found that rotation-equivariant networks are significantly less vulnerable to geometric-based attacks than regular networks on the MNIST, CIFAR-10, and ImageNet datasets.

研究动机与目标

• 评估旋转等变CNN对几何对抗攻击（包括旋转、平移和空间变换）的鲁棒性。
• 在多个复杂度不同的数据集上，比较G-CNNs、H-Nets和ORNs与标准CNN的性能表现。
• 评估旋转等变等归纳偏置是否能固有地提升对几何扰动的鲁棒性。
• 分析攻击成功率与旋转角度之间的相关性，揭示不同架构在敏感性上的差异。

提出的方法

• 在MNIST、CIFAR-10和ImageNet上训练旋转等变网络（G-CNNs、H-Nets、ORNs）和标准CNNs，参数量相近。
• 应用几何对抗攻击：全局旋转（±10°）、平移（±3像素）以及空间变换对抗样本（stAdv），τ=0.10。
• 采用标准化的训练与评估协议，包括ImageNet的预训练模型和GitHub上的公开实现。
• 测量每类攻击和每个数据集的攻击成功率（ASR），并分析ASR分布及其与旋转角度的相关性。
• 采用基于空间变换器的攻击（stAdv）生成目标明确、几何上自然的对抗样本，空间失真度低。
• 在相同架构约束下比较模型，以隔离旋转等变性对鲁棒性的影响。

实验结果

研究问题

• RQ1 旋转等变网络与标准CNN相比，在抵抗旋转和平移对抗攻击方面表现如何？
• RQ2 几何上自然的对抗攻击（如stAdv）在多大程度上能成功攻击旋转等变模型？
• RQ3 旋转等变程度是否与对对抗扰动的敏感性降低相关，且在不同数据集上表现一致？
• RQ4 在几何攻击下，离散旋转群（如G-CNNs）与连续旋转等变模型（如H-Nets、ORNs）在鲁棒性上是否存在差异？
• RQ5 攻击成功率如何随旋转幅度变化？该关系在不同模型类型中是否存在差异？

主要发现

• 在MNIST上，G-CNNs在组合旋转与平移攻击下的攻击成功率（ASR）为3.4%，而标准CNNs为6.2%，表明脆弱性相对降低46%。
• 在CIFAR-10上，G-ResNet将纯旋转攻击的ASR从ResNet的77.9%降低至52.1%，成功率相对下降33%。
• 在ImageNet上，OR-ResNet将组合旋转与平移攻击的ASR从ResNet的6.8%降低至5.7%，鲁棒性相对提升19%。
• 对于空间变换对抗攻击（stAdv），MNIST上的G-CNNs的ASR为80.1%，显著低于标准CNNs的92.6%，表明对几何失真具有更强的抵抗能力。
• 在MNIST上，G-CNNs的攻击成功率与旋转角度的皮尔逊相关系数ρ为0.18，而标准CNNs为0.28，表明对旋转幅度的敏感性更低。
• 在CIFAR-10上，G-ResNet的ρ值（0.33）高于ResNet（0.07），表明在深层网络中，旋转等变性可能并未均匀降低对旋转角度的敏感性，尽管整体鲁棒性仍更高。