[论文解读] Physically Realizable Adversarial Examples for LiDAR Object Detection

James Tu, Mengye Ren+6 more|arXiv (Cornell University)|Apr 1, 2020

Adversarial Robustness in Machine Learning参考文献 45被引用 16

一句话总结

本文提出了一种通用的、物理上可实现的3D对抗性物体，可通过3D打印并放置在车辆车顶，使基于LiDAR的物体检测器以80%的成功率无法检测到该物体。该方法利用可微分渲染与网格优化，生成一个保持物理合理性的通用对抗性网格，可在多种检测器架构和输入表示下实现规避检测。

ABSTRACT

Modern autonomous driving systems rely heavily on deep learning models to process point cloud sensory data; meanwhile, deep models have been shown to be susceptible to adversarial attacks with visually imperceptible perturbations. Despite the fact that this poses a security concern for the self-driving industry, there has been very little exploration in terms of 3D perception, as most adversarial attacks have only been applied to 2D flat images. In this paper, we address this issue and present a method to generate universal 3D adversarial objects to fool LiDAR detectors. In particular, we demonstrate that placing an adversarial object on the rooftop of any target vehicle to hide the vehicle entirely from LiDAR detectors with a success rate of 80%. We report attack results on a suite of detectors using various input representation of point clouds. We also conduct a pilot study on adversarial defense using data augmentation. This is one step closer towards safer self-driving under unseen conditions from limited training data.

研究动机与目标

• 研究自动驾驶系统中基于LiDAR的物体检测器对物理对抗性攻击的脆弱性。
• 开发一种通用的、物理上可实现的3D对抗性网格，可3D打印并放置于任意车辆上以实现规避检测。
• 评估该攻击在多种LiDAR检测器架构和输入表示（如体素、点云、占据网格）下的有效性。
• 探索通过数据增强和对抗性训练提升鲁棒性的防御机制。
• 证明即使常见物体如沙发或椅子，若经过对抗性设计，也可能无意中充当对抗性触发器。

提出的方法

• 该方法利用可微分渲染，从3D网格模拟LiDAR点云，从而实现对网格顶点的基于梯度的优化。
• 在白盒攻击设置下（可访问模型权重），通过最小化多样化场景和车辆中的检测分数，优化得到一个通用对抗性网格。
• 通过将顶点扰动限制在0.03m以内，并仅允许小幅度平移和旋转，确保网格保持物理可实现性。
• 在多种LiDAR检测器（如PIXOR、PointPillar和CenterPoint）上评估该攻击，使用包括密度体素、占据体素和点特征在内的多种输入表示。
• 为防御，论文采用随机采样网格的数据增强方法，并应用对抗性训练，即在训练过程中使用对抗性网格对模型进行微调。
• 该方法进一步扩展为生成外观类似现实世界常见物品（如沙发、椅子、自行车）的对抗性物体，通过从ShapeNet网格初始化并施加约束变形实现。

实验结果

研究问题

• RQ1 能否生成一个单一的、物理上可实现的3D对抗性网格，使其在多种车辆和场景下普遍规避LiDAR物体检测器？
• RQ2 该攻击在不同LiDAR检测器架构和输入表示（如体素化与点云处理）下的有效性如何？
• RQ3 对抗性物体的物理合理性（如外观类似常见车顶物品）是否会影响其攻击成功率或真实感？
• RQ4 数据增强和对抗性训练能否显著提升检测器对这类通用3D攻击的鲁棒性？
• RQ5 输入表示选择（如密度体素与占据体素）在多大程度上影响检测器对3D对抗性样本的鲁棒性？

主要发现

• 所提出的对抗性网格在多种检测器架构下，于IoU阈值为0.7时，实现了80%的隐藏成功率。
• 该攻击在多种输入表示下均有效，其中基于密度体素的检测器比基于占据体素的检测器更易受攻击，原因在于前者输入精度更高。
• PIXOR*（采用PointNet主干网络和基于列的特征提取）即使与标准PIXOR使用相同主干网络，也表现出显著更高的鲁棒性，这归因于其输入表示方式。
• 经过对抗性变形的常见物体（如沙发和椅子）仍可导致检测失败，且其人类可识别的形状在ShapeNet分类器中仍保持可辨识性。
• 使用随机网格增强的对抗性训练虽降低了攻击成功率，但未能完全消除漏洞，仍存在5%至20%的残余脆弱性。
• 该防御机制在不降低KITTI验证集上标准检测性能的前提下提升了鲁棒性，证明了其实际可行性。