[论文解读] Projecting Trouble: Light Based Adversarial Attacks on Deep Learning Classifiers

Nicole Nichols, Robert Jasper|arXiv (Cornell University)|Oct 16, 2018

Adversarial Robustness in Machine Learning参考文献 14被引用 11

一句话总结

本文提出了一种基于投影光图案的动态物理对抗攻击，用于深度学习图像分类器，无需对物体进行永久性修改。通过微分进化算法优化光投影，该方法在2D CIFAR-10图像上将分类准确率从98%降低至22%，在3D物体上从89%降低至43%，证明了瞬态光基对抗操纵在现实世界中的可行性。

ABSTRACT

This work demonstrates a physical attack on a deep learning image classification system using projected light onto a physical scene. Prior work is dominated by techniques for creating adversarial examples which directly manipulate the digital input of the classifier. Such an attack is limited to scenarios where the adversary can directly update the inputs to the classifier. This could happen by intercepting and modifying the inputs to an online API such as Clarifai or Cloud Vision. Such limitations have led to a vein of research around physical attacks where objects are constructed to be inherently adversarial or adversarial modifications are added to cause misclassification. Our work differs from other physical attacks in that we can cause misclassification dynamically without altering physical objects in a permanent way. We construct an experimental setup which includes a light projection source, an object for classification, and a camera to capture the scene. Experiments are conducted against 2D and 3D objects from CIFAR-10. Initial tests show projected light patterns selected via differential evolution could degrade classification from 98% to 22% and 89% to 43% probability for 2D and 3D targets respectively. Subsequent experiments explore sensitivity to physical setup and compare two additional baseline conditions for all 10 CIFAR classes. Some physical targets are more susceptible to perturbation. Simple attacks show near equivalent success, and 6 of the 10 classes were disrupted by light.

研究动机与目标

• 开发一种利用投影光动态操纵深度学习分类器的物理对抗攻击，而非依赖物体的永久性修改。
• 在光照控制有限的真实环境中评估光基攻击的有效性。
• 研究不同物体类别及物理设置参数对光基对抗扰动的敏感性。
• 将光基攻击的成功率与基线条件进行比较，并评估其在10个CIFAR-10类别间的可迁移性。
• 探索利用实时反馈与优化在物理场景中生成有效对抗光图案的可行性。

提出的方法

• 使用投影仪将优化后的光图案投射到真实场景中的物理2D和3D物体上。
• 采用微分进化（DE）这一启发式全局优化算法，迭代优化能最大化误分类的光图案。
• 通过网络摄像头捕捉场景，获取实时反馈以支持优化循环，实现实时自适应。
• 在受控但非理想光照条件下，对CIFAR-10数据集中的2D打印图像和3D玩偶模型实施攻击。
• 在光投影前后测量分类器置信度分数，以评估对抗扰动的成功程度。
• 通过消融实验比较光基攻击与基线条件（包括未投影场景和随机光图案）的差异。

实验结果

研究问题

• RQ1 是否可以利用投影光图案在不修改物理物体的前提下，动态诱导深度学习图像分类器发生误分类？
• RQ2 与数字或打印的对抗样本相比，光基对抗攻击在真实世界非受控环境中的有效性如何？
• RQ3 哪些物体类别对光基对抗攻击最为敏感，其物理或视觉特性如何影响这种敏感性？
• RQ4 相机设置、光照角度和投影仪强度的变化如何影响光基攻击的成功率？
• RQ5 对抗光图案在不同物体姿态、方向或分类器架构之间具有多大程度的可迁移性？

主要发现

• 光基对抗攻击使2D CIFAR-10图像的top-1分类准确率从98%降至22%，显著降低了模型置信度。
• 对于3D物体，正确类别（汽车）的置信度从89%降至43%，模型则以57%的概率预测为“卡车”。
• 在CIFAR-10的十个类别中，有六个成功受到光基攻击的影响，表明其具有广泛但非普遍性的破坏力。
• 即使仅在场景背景上投影单像素光，也能显著改变分类器的预测结果，凸显深度模型对空间局部扰动的高度敏感性。
• 尽管存在相机噪声、色彩平衡偏移以及表面纹理导致的光反射变化等现实约束，攻击仍保持有效。
• 攻击的成功并非仅依赖于物体大小或位置，即使大型物体如卡车也易受攻击，表明视觉复杂性和模型偏差在其中起关键作用。