[论文解读] Physical Adversarial Attacks For Camera-based Smart Systems: Current Trends, Categorization, Applications, Research Challenges, and Future Outlook

Amira Guesmi, Muhammad Abdullah Hanif+2 more|arXiv (Cornell University)|Aug 11, 2023

Adversarial Robustness in Machine Learning被引用 5

一句话总结

本文全面综述了针对基于摄像头的智能系统所实施的物理对抗攻击，按应用任务（如目标检测、人脸识别、深度估计）对攻击方法进行分类，并分析其在现实世界失真条件下的有效性、隐蔽性与鲁棒性。文章识别出物理攻击设计中的关键挑战，并呼吁建立标准化基准和更强的防御机制，以确保在安全关键领域中可信的人工智能。

ABSTRACT

In this paper, we present a comprehensive survey of the current trends focusing specifically on physical adversarial attacks. We aim to provide a thorough understanding of the concept of physical adversarial attacks, analyzing their key characteristics and distinguishing features. Furthermore, we explore the specific requirements and challenges associated with executing attacks in the physical world. Our article delves into various physical adversarial attack methods, categorized according to their target tasks in different applications, including classification, detection, face recognition, semantic segmentation and depth estimation. We assess the performance of these attack methods in terms of their effectiveness, stealthiness, and robustness. We examine how each technique strives to ensure the successful manipulation of DNNs while mitigating the risk of detection and withstanding real-world distortions. Lastly, we discuss the current challenges and outline potential future research directions in the field of physical adversarial attacks. We highlight the need for enhanced defense mechanisms, the exploration of novel attack strategies, the evaluation of attacks in different application domains, and the establishment of standardized benchmarks and evaluation criteria for physical adversarial attacks. Through this comprehensive survey, we aim to provide a valuable resource for researchers, practitioners, and policymakers to gain a holistic understanding of physical adversarial attacks in computer vision and facilitate the development of robust and secure DNN-based systems.

研究动机与目标

• 为现实世界计算机视觉应用中的物理对抗攻击提供系统性理解。
• 根据目标任务（如分类、检测、分割和深度估计）对攻击方法进行分类与分析。
• 考察物理对抗攻击在鲁棒性、隐蔽性及现实世界部署中的挑战。
• 识别研究空白并提出未来方向，包括标准化基准和改进的防御机制。
• 强调在开发与评估物理对抗攻击过程中涉及的伦理考量与负责任的研究实践。

提出的方法

• 调研超过190篇论文，并分析涵盖多种计算机视觉任务的94种不同对抗攻击方法。
• 将攻击分类为基于贴纸、贴图、伪装、光照调控以及成像设备操控等技术。
• 基于有效性、隐蔽性以及对光照、视角变化和运动模糊等现实世界失真因素的鲁棒性来评估攻击性能。
• 应用期望变换（Expectation Over Transformation, EOT）方法，在优化过程中模拟现实世界变化，以增强物理攻击的鲁棒性。
• 分析视频攻击中的时间一致性，以确保在连续帧中保持攻击有效性。
• 研究攻击在不同任务间的可迁移性，包括轨迹预测、姿态估计和动作识别。

实验结果

研究问题

• RQ1 与数字对抗攻击相比，物理对抗攻击的关键特征和区别性特点是什么？
• RQ2 物理对抗攻击如何在光照变化、视角变化和运动模糊等现实世界失真条件下保持有效性？
• RQ3 在不同应用领域中，确保攻击隐蔽性与不可察觉性的最有效策略有哪些？
• RQ4 物理对抗攻击在轨迹预测和动作识别等新兴计算机视觉任务中的表现如何？
• RQ5 评估与基准化物理对抗攻击的主要挑战是什么？如何建立标准化的评估标准？

主要发现

• 物理对抗攻击在真实环境中极为有效，已成功通过打印的对抗样本在不同光照和视角条件下欺骗深度神经网络。
• 期望变换（Expectation Over Transformation, EOT）技术通过在攻击生成过程中模拟现实世界变化，显著提升了攻击的鲁棒性。
• 时间一致性对视频攻击至关重要，帧间扰动不一致会降低攻击成功率并增加被检测到的风险。
• 隐蔽性仍是主要挑战，目前尚无广泛接受的度量标准用于评估物理攻击中的视觉自然度。
• 物理对抗攻击在目标检测、人脸识别和语义分割等任务间表现出可迁移性，表明模型存在广泛漏洞。
• 尽管已有进展，但缺乏标准化的基准和评估协议，严重阻碍了该领域内公平比较与可复现性。