[论文解读] On the Vulnerability of Capsule Networks to Adversarial Attacks

Félix Michels, Tobias Uelwer+2 more|arXiv (Cornell University)|Jun 9, 2019

Adversarial Robustness in Machine Learning参考文献 19被引用 15

一句话总结

本文评估了胶囊网络（CapsNets）在对抗性攻击下的鲁棒性，表明其并非比卷积神经网络（ConvNets）更具内在抵抗力。在MNIST、Fashion-MNIST、SVHN和CIFAR10数据集上，对CapsNets和ConvNets应用多种白盒攻击（包括Carlini-Wagner、边界攻击、DeepFool和通用扰动），研究发现两者具有相似的脆弱性水平，CapsNets在某些情况下表现出相似或略优的扰动效率，并且对抗性样本可在不同架构间实现迁移。

ABSTRACT

This paper extensively evaluates the vulnerability of capsule networks to different adversarial attacks. Recent work suggests that these architectures are more robust towards adversarial attacks than other neural networks. However, our experiments show that capsule networks can be fooled as easily as convolutional neural networks.

研究动机与目标

• 探究胶囊网络（CapsNets）是否如先前所建议的那样，比传统卷积神经网络（ConvNets）更具对抗性攻击鲁棒性。
• 评估多种白盒对抗性攻击（Carlini-Wagner、边界攻击、DeepFool和通用扰动）在CapsNets上的有效性。
• 比较CapsNets与ConvNets在不同数据集间对抗性样本的迁移能力。
• 通过t-SNE可视化分析CapsNets与ConvNets生成的对抗性扰动在视觉和结构上的差异。
• 评估CapsNets在现实攻击条件下是否保持优越的鲁棒性，特别是在扰动幅度和攻击成功率方面。

提出的方法

• 在MNIST、Fashion-MNIST、SVHN和CIFAR10数据集上，使用动态路由和主胶囊层，通过边缘损失和重建损失训练CapsNets。
• 应用四种对抗性攻击方法：Carlini-Wagner（目标攻击，白盒）、边界攻击（查询式）、DeepFool（非目标攻击）和通用扰动攻击。
• 在Carlini-Wagner攻击中，通过双曲正切函数实现输入约束的可变变换，并使用Adam优化器进行优化。
• 使用DeepFool和边界攻击生成每数据集1,000个对抗性样本，使用Carlini-Wagner攻击生成500个样本（κ=1），目标标签随机选取。
• 通过将测试集划分为十部分，训练扰动使准确率降至50%以下，从而计算通用扰动。
• 使用t-SNE可视化通用扰动，比较CapsNets与ConvNets生成扰动在结构上的差异。

实验结果

研究问题

• RQ1 胶囊网络是否比卷积神经网络更抗白盒对抗性攻击？
• RQ2 不同对抗性攻击方法（Carlini-Wagner、边界攻击、DeepFool、通用扰动）在CapsNets上的扰动幅度和成功率表现如何？
• RQ3 对抗性样本在CapsNets与ConvNets之间的迁移程度如何？
• RQ4 CapsNets生成的扰动在视觉和结构上是否与ConvNets生成的扰动明显不同？
• RQ5 CapsNets中使用的动态路由和向量表示是否赋予其对抗输入的内在鲁棒性？

主要发现

• CapsNets在测试集上的准确率与ConvNets相当（例如，MNIST上为99.40%，ConvNets为99.39%），确保了鲁棒性评估的公平性。
• Carlini-Wagner攻击在大多数数据集上生成的扰动在CapsNets上比在ConvNets上更小，表明对CapsNets的攻击效率可能更高。
• DeepFool攻击在CapsNets上的表现劣于在ConvNets上的表现，提示两者在局部敏感性或梯度结构上可能存在差异。
• 对抗性样本可在CapsNets与ConvNets之间有效迁移，且ConvNets生成的较小扰动比CapsNets生成的扰动更成功地迁移到CapsNets。
• 通用扰动在视觉上可察觉，并在t-SNE可视化中显示出明显的聚类模式，其中CapsNet特异性扰动与ConvNet扰动形成独立的聚类。
• 尽管理论上具有优势，CapsNets在强白盒攻击下并不比ConvNets更具鲁棒性，其脆弱性特征与后者基本相当。