[论文解读] Security of Deep Learning based Lane Keeping System under Physical-World Adversarial Attack

Takami Sato, Junjie Shen+4 more|arXiv (Cornell University)|Mar 3, 2020

Adversarial Robustness in Machine Learning参考文献 8被引用 13

一句话总结

本文首次系统性地提出了针对基于深度学习的车道保持辅助系统（LKAS）的物理世界对抗攻击，通过在真实道路上部署隐蔽的灰度‘脏路贴片’来操纵车道检测。通过结合梯度聚合与车辆运动模型，构建多帧优化问题，该攻击在1.3秒内即导致OpenPilot偏离车道——短于人类平均反应时间，充分揭示了自动驾驶系统中的关键安全风险。

ABSTRACT

Lane-Keeping Assistance System (LKAS) is convenient and widely available today, but also extremely security and safety critical. In this work, we design and implement the first systematic approach to attack real-world DNN-based LKASes. We identify dirty road patches as a novel and domain-specific threat model for practicality and stealthiness. We formulate the attack as an optimization problem, and address the challenge from the inter-dependencies among attacks on consecutive camera frames. We evaluate our approach on a state-of-the-art LKAS and our preliminary results show that our attack can successfully cause it to drive off lane boundaries within as short as 1.3 seconds.

研究动机与目标

• 探究在物理世界对抗攻击下，基于深度神经网络（DNN）的车道保持辅助系统（LKAS）所面临的安全部署漏洞。
• 识别一种实用且隐蔽的攻击向量——脏路贴片，可在不干扰人类正常感知的前提下，物理部署于道路之上。
• 解决LKAS中因车辆运动引入的连续视频帧间强依赖性所带来的攻击传播挑战，这对于实现持续偏离至关重要。
• 开发一种系统化的优化框架，生成在多帧中均有效、同时保持物理可实现性与隐蔽性的对抗路贴片。

提出的方法

• 提出‘脏路贴片’作为特定领域内、物理可实现且隐蔽的威胁模型，限制为灰度且不覆盖原始车道线。
• 将攻击建模为多帧优化问题，采用路径弯曲目标函数，以最大化LKAS期望行驶路径的横向偏离。
• 引入车辆运动模型以模拟车辆轨迹，并在帧间传播状态变化，实现攻击在时间上的持续生成。
• 通过鸟瞰图（BEV）变换中的梯度聚合，对不同贴片尺寸与位置的梯度进行对齐，实现有效优化。
• 采用L2正则化与色彩空间约束，确保生成的贴片外观如普通道路碎屑，以增强隐蔽性。
• 通过反向传播穿过基于DNN的车道检测器与横向控制器生成对抗输入，并在BEV空间中通过投影梯度下降法更新贴片。

实验结果

研究问题

• RQ1 能否设计出物理世界中的对抗贴片，在不干扰人类感知的前提下，隐蔽地操纵基于DNN的LKAS？
• RQ2 在车辆运动引入强帧间依赖性的前提下，如何有效实现对抗攻击在连续视频帧间的传播？
• RQ3 何种优化目标函数最能有效诱导LKAS在真实驾驶动力学下产生持续的横向偏离？
• RQ4 此类攻击在多大程度上能促使真实世界的LKAS在人类反应时间之前即发生车道偏离？
• RQ5 所提方法在不同驾驶场景、车速与车辆型号下具有多大有效性？

主要发现

• 在真实世界场景（comma2k19-1）中，攻击在0.9秒内即导致OpenPilot LKAS偏离高速公路车道超过0.745米。
• 在模拟高速公路场景（LGSVL-1）中，攻击在1.3秒内实现车道偏离，验证了在受控条件下的有效性。
• 该攻击在三种不同场景中均有效：两次真实高速公路驾驶（126 km/h 和 105 km/h）及一次模拟场景（72 km/h），证实了其对速度与环境的鲁棒性。
• 恶意路贴片具备物理可实现性，且在视觉上与泥土或碎屑无异，通过仅使用灰度颜色并避免覆盖车道线，保持了高度隐蔽性。
• 该攻击优于人类反应时间（2.3秒），表明自动驾驶系统可能被操纵得比驾驶员干预更快，构成关键安全风险。
• 从驾驶员视角的演示视频确认，攻击在不到一秒内即引发明显且持续的横向偏离，验证了其在真实世界中的显著影响。