[论文解读] PointDP: Diffusion-driven Purification against Adversarial Attacks on 3D Point Cloud Recognition

J. F. Sun, Weili Nie+3 more|arXiv (Cornell University)|Aug 21, 2022

Adversarial Robustness in Machine Learning被引用 10

一句话总结

PointDP 提出了一种基于扩散模型的点云净化防御方法，利用扩散模型的逆去噪过程去除对抗性扰动。在强自适应攻击下，该方法在六种模型上实现了 75.9% 的平均鲁棒准确率，显著优于当前最先进（SOTA）的净化方法，平均分别高出 IF-Defense 12.6% 和 LPC 40.3%。

ABSTRACT

3D Point cloud is becoming a critical data representation in many real-world applications like autonomous driving, robotics, and medical imaging. Although the success of deep learning further accelerates the adoption of 3D point clouds in the physical world, deep learning is notorious for its vulnerability to adversarial attacks. In this work, we first identify that the state-of-the-art empirical defense, adversarial training, has a major limitation in applying to 3D point cloud models due to gradient obfuscation. We further propose PointDP, a purification strategy that leverages diffusion models to defend against 3D adversarial attacks. We extensively evaluate PointDP on six representative 3D point cloud architectures, and leverage 10+ strong and adaptive attacks to demonstrate its lower-bound robustness. Our evaluation shows that PointDP achieves significantly better robustness than state-of-the-art purification methods under strong attacks. Results of certified defenses on randomized smoothing combined with PointDP will be included in the near future.

研究动机与目标

• 识别标准对抗性训练在 3D 点云模型中因梯度遮蔽而存在的局限性。
• 解决现有净化方法（如 IF-Defense 和 LPC）在强自适应攻击下的脆弱性。
• 提出一种新型的基于扩散模型的净化框架 PointDP，以增强对多样化 3D 对抗性攻击的鲁棒性。
• 在六种 3D 架构和超过 16 种攻击类型（包括自适应和黑盒方法）下对 PointDP 进行严格评估。
• 证明基于扩散的净化方法在经验鲁棒性方面优于先前的 SOTA 防御方法。

提出的方法

• PointDP 引入了两阶段流程：首先通过前向扩散过程将输入点云逐步转化为噪声，然后反向执行该过程以恢复净化后的点云。
• 逆过程利用训练好的 3D 扩散模型，逐步去噪对抗性输入，有效去除扰动。
• 为在评估期间支持基于梯度的攻击，该方法采用伴随法（adjoint method）反向传播通过扩散模型的随机微分方程（SDE）公式。
• 扩散模型在每个去噪步骤中固有的随机性引入了高度随机性，阻碍基于梯度的自适应攻击准确估计梯度。
• PointDP 作为后处理净化模块应用，保持了干净样本的准确率，同时显著提升了鲁棒性。
• 该框架在多种攻击设置下进行了评估，包括 $ε$-有界 $ε_{\infty}$、$ε_{2}$ 和 $ε_{0}$ 攻击，以及 SPSA 和 Nattack 等黑盒方法。

实验结果

研究问题

• RQ1 标准对抗性训练是否能为 3D 点云模型提供对强黑盒和自适应攻击的鲁棒性？
• RQ2 像 IF-Defense 和 LPC 这类净化方法能否在 3D 点云设置中抵御高级自适应攻击？
• RQ3 基于扩散的净化框架是否能在 3D 点云识别中实现高于现有 SOTA 方法的鲁棒性？
• RQ4 PointDP 在 BPDA-PGD 和 EOT-AutoAttack 等强自适应攻击下效果如何？
• RQ5 扩散过程的随机性在多大程度上阻碍了黑盒和基于梯度的自适应攻击？

主要发现

• 在强自适应攻击下，PointDP 在六种 3D 模型上实现了 75.9% 的平均鲁棒准确率，显著优于 IF-Defense 和 LPC。
• 在 $ε_{\infty} = 0.05$ 条件下，PointDP 在 PointNet 到 DGCNN 上实现了 77.1% 至 79.2% 的鲁棒准确率，平均比 IF-Defense 高出 12.6%。
• 在 $ε_{\infty} = 1.25$ 条件下，PointDP 保持了 71.2% 至 79.6% 的鲁棒准确率，平均比 LPC 高出 40.3%。
• 即使在最强的自适应攻击 BPDA-PGD 下，PointDP 在所有模型上的鲁棒准确率仍保持在 70% 以上，展现出强大韧性。
• 黑盒攻击（如 SPSA 和 Nattack）效果显著较弱，表明扩散模型的随机性有效阻碍了梯度估计。
• 研究发现，标准对抗性训练在 3D 点云模型中存在梯度遮蔽问题，导致在黑盒攻击下鲁棒准确率降至约 10%。