[论文解读] On Isometry Robustness of Deep 3D Point Cloud Models under Adversarial Attacks

Yue Zhao, Yuwei Wu+2 more|arXiv (Cornell University)|Feb 27, 2020

Adversarial Robustness in Machine Learning参考文献 49被引用 5

一句话总结

该论文提出了一种基于Thompson Sampling和基于限制等距性（Restricted Isometry Property）的新型黑盒与白盒对抗攻击方法，针对三维点云模型进行攻击，揭示了其在等距变换下存在极端脆弱性。即使在人眼难以察觉的旋转（±2.81°）条件下，攻击成功率仍超过95%，展现出极强的可迁移性，并暴露出当前最先进3D模型在鲁棒性方面的关键缺陷。

ABSTRACT

While deep learning in 3D domain has achieved revolutionary performance in many tasks, the robustness of these models has not been sufficiently studied or explored. Regarding the 3D adversarial samples, most existing works focus on manipulation of local points, which may fail to invoke the global geometry properties, like robustness under linear projection that preserves the Euclidean distance, i.e., isometry. In this work, we show that existing state-of-the-art deep 3D models are extremely vulnerable to isometry transformations. Armed with the Thompson Sampling, we develop a black-box attack with success rate over 95% on ModelNet40 data set. Incorporating with the Restricted Isometry Property, we propose a novel framework of white-box attack on top of spectral norm based perturbation. In contrast to previous works, our adversarial samples are experimentally shown to be strongly transferable. Evaluated on a sequence of prevailing 3D models, our white-box attack achieves success rates from 98.88% to 100%. It maintains a successful attack rate over 95% even within an imperceptible rotation range $[\pm 2.81^{\circ}]$.

研究动机与目标

• 研究深度3D点云模型在等距变换（如旋转、平移、反射）下的鲁棒性。
• 设计一种高效的黑盒攻击框架，利用Thompson Sampling优化旋转角度选择，以实现最大攻击成功率。
• 提出一种基于限制等距性（RIP）和谱范数的扰动方法的白盒攻击，以在保持等距性的同时最大化模型误分类。
• 评估对抗样本在多个3D模型间的可迁移性，并评估其在自动驾驶等真实系统中的实际影响。
• 考察当前3D数据增强技术在防御基于等距变换的对抗攻击方面的局限性。

提出的方法

• 在黑盒设置中采用Thompson Sampling，自适应地在攻击成功率较高的区域更大概率采样旋转角度，从而在效率上优于随机搜索。
• 使用单个角度参数化的旋转矩阵，对点云施加等距变换，而不改变其内在几何结构。
• 提出一种基于限制等距性（RIP）的白盒攻击框架，其中扰动受 $ A^T A - I $ 的谱范数约束，确保变换保持接近等距。
• 采用谱范数度量扰动幅度，提供一种与2D图像对抗攻击中 $ L_p $ 范数可比的通用且公平的度量标准。
• 在ModelNet40数据集上，对多种3D模型应用基于旋转和反射的攻击（TSI与CTRI），以评估其鲁棒性。
• 通过随机 $ p $-旋转评估数据增强防御策略，权衡模型在对抗条件下的准确率与鲁棒性。

实验结果

研究问题

• RQ1 当前最先进的3D点云模型在等距保持的对抗攻击下有多脆弱，特别是在小角度旋转条件下？
• RQ2 Thompson Sampling能否有效用于设计低查询成本的3D模型黑盒对抗攻击？
• RQ3 在等距约束下生成的对抗样本在不同3D架构之间表现出多大程度的可迁移性？
• RQ4 在限制等距性约束下，基于谱范数的扰动能否有效误导模型，同时保持几何保真度？
• RQ5 在应用标准3D数据增强技术防御基于等距变换的攻击时，模型准确率与鲁棒性之间的权衡如何？

主要发现

• 基于Thompson Sampling的黑盒攻击在ModelNet40上对所有评估模型的攻击成功率均超过95.66%，且最多仅需1000次查询。
• 基于谱范数扰动的白盒攻击在多个3D模型上实现98.88%至100%的攻击成功率，即使在人眼难以察觉的±2.81°旋转（即 $[-rac{ heta}{64}, rac{ heta}{64}]$）下依然有效。
• 所提方法生成的对抗样本展现出极强的可迁移性，表明当前3D模型在等距保持攻击下存在根本性脆弱性。
• 即使谱范数扰动低于0.068，白盒攻击在所有测试模型上的成功率仍保持在98.11%以上。
• 标准3D数据增强方法（如随机旋转、抖动、缩放）无法有效防御所提攻击，尤其是CTRI类攻击。
• 采用 $ p riangleq 0.1 $ 至 $ 0.3 $ 的随机 $ p $-旋转增强可将TSI攻击成功率降至约80%，同时保持模型准确率高于90%，表明这是一种可行的防御权衡策略。