[论文解读] Stealthy and Efficient Adversarial Attacks against Deep Reinforcement Learning

Jianwen Sun, Tianwei Zhang+5 more|arXiv (Cornell University)|May 14, 2020

Adversarial Robustness in Machine Learning参考文献 39被引用 4

一句话总结

本文提出了两种新颖的对抗性攻击技术——临界点攻击（Critical Point Attack）和对抗者攻击（Antagonist Attack），用于隐蔽且高效地规避深度强化学习（DRL）智能体。通过利用对未来状态的预测建模以及损伤感知优化，这些方法能够识别出最小的关键干预点，在Atari、TORCS和MuJoCo等多种环境中仅需1–5步即可成功发动攻击，显著优于以往方法所需的20–80步。

ABSTRACT

Adversarial attacks against conventional Deep Learning (DL) systems and algorithms have been widely studied, and various defenses were proposed. However, the possibility and feasibility of such attacks against Deep Reinforcement Learning (DRL) are less explored. As DRL has achieved great success in various complex tasks, designing effective adversarial attacks is an indispensable prerequisite towards building robust DRL algorithms. In this paper, we introduce two novel adversarial attack techniques to \emph{stealthily} and \emph{efficiently} attack the DRL agents. These two techniques enable an adversary to inject adversarial samples in a minimal set of critical moments while causing the most severe damage to the agent. The first technique is the \emph{critical point attack}: the adversary builds a model to predict the future environmental states and agent's actions, assesses the damage of each possible attack strategy, and selects the optimal one. The second technique is the \emph{antagonist attack}: the adversary automatically learns a domain-agnostic model to discover the critical moments of attacking the agent in an episode. Experimental results demonstrate the effectiveness of our techniques. Specifically, to successfully attack the DRL agent, our critical point technique only requires 1 (TORCS) or 2 (Atari Pong and Breakout) steps, and the antagonist technique needs fewer than 5 steps (4 Mujoco tasks), which are significant improvements over state-of-the-art methods.

研究动机与目标

• 解决当前针对深度强化学习（DRL）智能体缺乏有效且隐蔽的对抗性攻击方法的问题。
• 识别DRL轨迹中最小但影响最大的干预点，以最大程度损害智能体的最终目标。
• 开发通用且高效的攻击策略，其扰动步骤数少于现有方法。
• 通过最小化修改的时间步数来提升攻击的隐蔽性，同时最大化对智能体性能的干扰。
• 在包括连续动作空间和离散动作空间在内的多种DRL环境与算法中评估所提出方法。

提出的方法

• 临界点攻击利用领域特定模型预测未来状态与动作，并基于智能体最终目标的损伤感知度量（Damage Awareness Metric）评估攻击策略。
• 通过模拟扰动对长期性能的影响，选择最优攻击策略，确保在最小步数内造成最大损害。
• 对抗者攻击训练一个与领域无关的模型，利用智能体的奖励函数作为优化目标，自主检测干预的关键时刻。
• 该模型学习在何时以及如何注入扰动，以引导智能体走向失败，且无需事先了解环境信息。
• 两种方法均使用微小且难以察觉的环境状态扰动，确保隐蔽性的同时最大化对智能体策略的干扰。
• 损伤感知度量用于量化每种攻击策略的长期影响，使攻击者能够选择最具破坏性的干预点。

实验结果

研究问题

• RQ1 能否通过最小化干预步骤数，设计出既隐蔽又高效的对抗性攻击，以针对DRL智能体？
• RQ2 基于智能体最终目标的损伤感知度量是否能提升DRL中对抗性攻击的精度与效率？
• RQ3 无领域依赖的对抗者模型能否在无需事先了解环境信息的情况下，自动识别出最优攻击时机？
• RQ4 与最先进的方法（如时机策略攻击和魔法攻击）相比，所提出的方法在效率和有效性方面表现如何？
• RQ5 所提出的技术能否在不同DRL算法和环境中实现泛化，包括具有连续动作空间的环境？

主要发现

• 临界点攻击在TORCS中仅用1步即成功发动攻击，在Atari Pong和Breakout中仅需2步，远少于时机策略攻击所需的80步。
• 对抗者攻击在4个MuJoCo环境中均少于5步完成攻击——InvertedPendulum为2步，Hopper为1步，HalfCheetah为5步，Walker2d为3步，展现出极高效率。
• 在TORCS中，最优攻击扰动大小（Δ）约为0.82，该值始终导致碰撞或失控。
• 对抗者攻击在Pong和Breakout中分别仅需3步，优于时机策略攻击的6步和5步。
• 对抗者攻击表现出策略性目标选择行为，倾向于在TORCS中智能体靠近角落（第105–135步）时发动攻击，此时不稳定状态使攻击效果更显著。
• 对抗者模型学会避免在高奖励、稳定阶段（如TORCS中第65–95步）发动攻击，此时智能体行为偏好强烈，证实其具备策略性意识。