[论文解读] Security Matters: A Survey on Adversarial Machine Learning

Guofu Li, Pengjia Zhu+4 more|arXiv (Cornell University)|Oct 16, 2018

Adversarial Robustness in Machine Learning参考文献 20被引用 27

一句话总结

本综述全面概述了对抗性机器学习，重点关注深度神经网络中图像分类的攻击与防御策略。它探讨了难以察觉的扰动、物理世界攻击，以及强化学习和安全关键系统中的应用，突出攻击者与防御者之间的极小极大博弈作为核心范式。

ABSTRACT

Adversarial machine learning is a fast growing research area, which considers the scenarios when machine learning systems may face potential adversarial attackers, who intentionally synthesize input data to make a well-trained model to make mistake. It always involves a defending side, usually a classifier, and an attacking side that aims to cause incorrect output. The earliest studies on the adversarial examples for machine learning algorithms start from the information security area, which considers a much wider varieties of attacking methods. But recent research focus that popularized by the deep learning community places strong emphasis on how the "imperceivable" perturbations on the normal inputs may cause dramatic mistakes by the deep learning with supposed super-human accuracy. This paper serves to give a comprehensive introduction to a range of aspects of the adversarial deep learning topic, including its foundations, typical attacking and defending strategies, and some extended studies.

研究动机与目标

• 系统性回顾对抗性机器学习，涵盖基础概念、攻击与防御技术，以及扩展应用。
• 考察对抗性鲁棒性在统计决策理论和信息安全中的历史根源，将早期工作与现代深度学习挑战联系起来。
• 分析难以察觉的扰动在欺骗深度神经网络中的作用，特别是在计算机视觉和图像分类中的应用。
• 探索复杂环境中的对抗性攻击，包括强化学习和物理世界部署（如自动驾驶汽车）。
• 突出开放挑战与未来研究方向，特别是在非卷积架构和鲁棒模型设计方面。

提出的方法

• 系统梳理并分类对抗性攻击方法，包括基于梯度的攻击（如FGSM、PGD）、逃避攻击和投毒攻击。
• 回顾防御机制，如对抗性训练、输入预处理和认证鲁棒性方法。
• 分析强化学习中的策略性攻击，包括时间优化和目标导向的对抗性序列。
• 研究物理世界中的对抗性攻击，如被扰动的停车标志或音频指令，及其在现实世界中的可行性。
• 整合生成模型与规划框架，构建能够随时间操纵智能体行为的对抗性序列。
• 通过仿真平台（如DeepXplore）评估鲁棒性，利用对抗性学习测试自动驾驶系统。

实验结果

研究问题

• RQ1 尽管在干净数据上准确率极高，为何数字输入中的难以察觉的扰动仍会导致深度神经网络误分类？
• RQ2 数字世界与物理世界对抗性攻击的关键区别是什么？为何物理攻击更难实施？
• RQ3 在强化学习环境中，如何战略性地安排时间或目标，以通过生成随时间推移的对抗性输入序列来操纵长期决策策略？
• RQ4 在训练过程中，投毒攻击以何种方式损害机器学习模型的鲁棒性，特别是在恶意软件检测等敏感领域？
• RQ5 对抗性机器学习对安全关键系统（如自动驾驶汽车和空中交通管制）有何影响？

主要发现

• 可以通过极小的、难以察觉的扰动构造对抗性样本，从而显著改变模型预测结果，即使在接近超人水平准确率的模型中也是如此。
• 物理世界中的对抗性攻击（如被修改的停车标志或音频指令）已在真实场景中成功演示，对已部署系统的鲁棒性构成挑战。
• 在强化学习中，通过时间优化和精心设计的对抗性攻击序列，可战略性地操纵智能体，使其达到特定目标状态。
• 在序列决策任务中，生成模型与规划框架对于构造有效的对抗性序列至关重要。
• 当前对抗性研究仍高度集中于卷积神经网络和图像分类任务，对非卷积架构的探索有限。
• 对抗性学习范式催生了诸如生成对抗网络（GANs）等重要创新，其利用了相同的极小极大博弈结构。