[论文解读] Nudge Attacks on Point-Cloud DNNs

Yiren Zhao, Ilia Shumailov+2 more|arXiv (Cornell University)|Nov 22, 2020

Adversarial Robustness in Machine Learning参考文献 26被引用 5

一句话总结

本文提出nudge攻击——一种仅修改3D点云中少数点的对抗性扰动，可欺骗深度神经网络（DNNs）。通过基于梯度和基于进化算法的方法，作者表明，即使单点扰动也能在DGCNN上实现36.54%的预测翻转成功率，且在不同模型间具有高度可迁移性，构成对自动驾驶等激光雷达（LiDAR）系统的实际威胁。

ABSTRACT

The wide adaption of 3D point-cloud data in safety-critical applications such as autonomous driving makes adversarial samples a real threat. Existing adversarial attacks on point clouds achieve high success rates but modify a large number of points, which is usually difficult to do in real-life scenarios. In this paper, we explore a family of attacks that only perturb a few points of an input point cloud, and name them nudge attacks. We demonstrate that nudge attacks can successfully flip the results of modern point-cloud DNNs. We present two variants, gradient-based and decision-based, showing their effectiveness in white-box and grey-box scenarios. Our extensive experiments show nudge attacks are effective at generating both targeted and untargeted adversarial point clouds, by changing a few points or even a single point from the entire point-cloud input. We find that with a single point we can reliably thwart predictions in 12--80% of cases, whereas 10 points allow us to further increase this to 37--95%. Finally, we discuss the possible defenses against such attacks, and explore their limitations.

研究动机与目标

• 为解决现有点云对抗攻击中需扰动大量点所导致的实际可行性差距问题。
• 探究极小扰动（仅一到几个点）是否仍能有效欺骗现代点云DNN。
• 评估此类极小扰动攻击在不同模型架构间的可迁移性，以支持无目标黑盒攻击。
• 评估常见防御方法（如点移除）对这些低预算攻击的鲁棒性。
• 证明nudge攻击在真实场景（如使用小型反光物体或激光干扰器进行LiDAR欺骗）中具有实际可操作性。

提出的方法

• 提出一种基于梯度的nudge攻击方法，用于白盒场景，利用损失梯度识别并扰动输入点云中最脆弱的点。
• 提出一种基于进化算法的决策型攻击方法，用于灰盒设置，仅需访问类别概率，实现交互式、低预算攻击。
• 为两种变体均采用目标型与非目标型攻击框架，以控制期望的误分类结果。
• 采用可迁移性评估协议，测量在一种模型（如PointNet）上生成的对抗样本在其他模型（如DGCNN或PointNet*）上的成功率。
• 实施点移除防御作为基线无目标防御，通过过滤距离原点最远的k个点来模拟对异常值的鲁棒性。
• 使用ModelNet10和ModelNet40数据集进行评估，以DGCNN和PointNet作为主要攻击目标模型。

实验结果

研究问题

• RQ1 对抗性点云攻击是否能在仅扰动极少数点（如一个或十个点）的情况下依然有效？
• RQ2 nudge攻击在白盒与灰盒设置下的成功率有何差异？何种攻击策略可在每种环境下实现高性能？
• RQ3 nudge攻击在不同点云DNN架构间的可迁移性如何？是否足以支持无目标黑盒攻击？
• RQ4 常见无目标防御（如点移除）是否能有效缓解nudge攻击，即使在攻击预算增加时？
• RQ5 nudge攻击对真实系统（如自动驾驶中的LiDAR）具有何种实际影响？

主要发现

• 在ModelNet40分类任务中，单点nudge攻击在DGCNN模型上实现了36.54%的成功率，证明其具有高度实际可行性。
• 当扰动点数增至10个时，不同模型和攻击类型下的成功率提升至37%至95%，表明攻击预算增加时具有显著可扩展性。
• nudge攻击的可迁移性显著高于以往方法：当使用PointNet源模型进行单点nudge攻击时，在DGCNN上成功率达33.5%，在PointNet*上达19.9%。
• 即使在采用点移除防御（过滤最远的k个点）的情况下，nudge攻击仍保持可观的成功率——单点攻击成功率约20%，150点攻击成功率达70%。
• 即便面对简单防御，nudge攻击的成功率依然存在，表明当前无目标防御不足以阻止此类低预算、高影响的攻击。
• 攻击在目标型与非目标型设置中均表现高效，且可通过物理手段实现，如在LiDAR传感器上附加反光物体或激光干扰器。