[论文解读] ShapeAdv: Generating Shape-Aware Adversarial 3D Point Clouds

Kibok Lee, Zhuoyuan Chen+3 more|arXiv (Cornell University)|May 24, 2020

Adversarial Robustness in Machine Learning参考文献 69被引用 7

一句话总结

ShapeAdv 提出了一种新颖的框架，通过在点云自编码器的潜在空间中注入扰动，生成具有形状感知能力的对抗性 3D 点云，从而在保持原始形状保真度的同时实现逼真的几何与结构变形。该方法在对抗性攻击成功率和跨分类器的迁移能力方面优于现有基于点的攻击方法，展现出对常见防御机制更强的鲁棒性。

ABSTRACT

We introduce ShapeAdv, a novel framework to study shape-aware adversarial perturbations that reflect the underlying shape variations (e.g., geometric deformations and structural differences) in the 3D point cloud space. We develop shape-aware adversarial 3D point cloud attacks by leveraging the learned latent space of a point cloud auto-encoder where the adversarial noise is applied in the latent space. Specifically, we propose three different variants including an exemplar-based one by guiding the shape deformation with auxiliary data, such that the generated point cloud resembles the shape morphing between objects in the same category. Different from prior works, the resulting adversarial 3D point clouds reflect the shape variations in the 3D point cloud space while still being close to the original one. In addition, experimental evaluations on the ModelNet40 benchmark demonstrate that our adversaries are more difficult to defend with existing point cloud defense methods and exhibit a higher attack transferability across classifiers. Our shape-aware adversarial attacks are orthogonal to existing point cloud based attacks and shed light on the vulnerability of 3D deep neural networks.

研究动机与目标

• 解决 3D 深度神经网络对反映真实形状变化而非任意点扰动的对抗性攻击的脆弱性。
• 开发一种生成对抗性 3D 点云的方法，使其具有接近原始形状的几何与结构变形，避免极端扭曲。
• 探索利用自编码器学习到的潜在空间作为形状感知对抗性扰动的流形。
• 评估这些攻击对现有防御机制（包括异常点移除和基于自编码器的防御）的鲁棒性。
• 展示所提攻击方法在其他模型（如 PointNet++ 和 DGCNN）上的改进黑箱迁移能力。

提出的方法

• 利用无监督点云自编码器学习一个紧凑且具有形状代表性的潜在空间，以近似形状流形。
• 采用三种变体在潜在空间中注入对抗性扰动：潜在空间 ℓ₂、基于 Chamfer 距离的扰动，以及辅助引导的形状形变。
• 使用训练好的解码器将扰动后的潜在码映射回 3D 点云空间，生成几何偏差极小的对抗性样本。
• 引入同类别中的辅助点云以引导形状变形，实现相似物体之间的类似形变过渡。
• 在 ModelNet40 基准上对 PointNet 分类器进行攻击训练与评估，与基线攻击方法（如点位移、聚类/物体添加）进行对比。
• 使用稀疏异常点移除（SOR）和基于自编码器的防御方法评估防御性能，分析 ShapeAdv 对两类防御的鲁棒性。

实验结果

研究问题

• RQ1 点云自编码器潜在空间中的对抗性扰动能否在保持原始形状保真度的同时生成逼真的形状变化？
• RQ2 当使用异常点移除或基于自编码器的防御时，与现有基于点的攻击相比，具有形状感知能力的对抗性攻击在鲁棒性方面表现如何？
• RQ3 ShapeAdv 攻击在不同 3D 点云分类器（如 PointNet++、DGCNN 和具有不同权重初始化的 PointNet）之间的迁移能力如何？
• RQ4 自编码器架构的选择（MLP 与 AtlasNet）如何影响对抗性扰动的性质与可检测性？
• RQ5 所学习的潜在空间是否不仅能用于攻击生成，还能通过重建与滤除对抗性噪声实现防御？

主要发现

• ShapeAdv 攻击在 PointNet 上实现了 100% 的攻击成功率，且几何偏差极小，其对防御机制的鲁棒性优于基线攻击方法。
• MLP-based 的 ShapeAdv 变体（引起全局几何形变）比 AtlasNet-based 变体（引起局部表面形变）更难防御。
• 由 ShapeAdv 生成的对抗性点云展现出更高的迁移能力：在 PointNet++ 和 DGCNN 上的成功率分别达到 24.7% 和 23.5%，超过所有基线方法。
• 如稀疏异常点移除（SOR）和基于自编码器的过滤等防御手段，对 ShapeAdv 的防御效果较差，尤其在攻击引发全局形状变化时。
• ShapeAdv 的辅助引导变体成功生成了类似同类物体之间形变过渡的对抗性样本，展示了形状感知形变能力。
• 与添加聚类或物体的攻击相比，原始形状与对抗性形状之间的 Chamfer 距离在 ShapeAdv 中更低，表明其具有更好的形状保持能力。