[论文解读] Who Is the Strongest Enemy? Towards Optimal and Efficient Evasion Attacks in Deep RL

Yanchao Sun, Ruijie Zheng+2 more|arXiv (Cornell University)|Jun 9, 2021

Adversarial Robustness in Machine Learning参考文献 29被引用 15

一句话总结

该论文提出PA-AD，一种新颖的协作框架，通过联合优化策略扰动与状态级对抗攻击，以在深度强化学习中找到最强的逃避对抗样本。通过引入策略对抗马尔可夫决策过程（PAMDP）和导演-演员架构，PA-AD实现了理论最优性，并显著提升了效率，优于先前基于强化学习的方法，在Atari和MuJoCo环境中的表现超越了最先进攻击方法，同时通过对抗训练实现了最先进水平的鲁棒性。

ABSTRACT

Evaluating the worst-case performance of a reinforcement learning (RL) agent under the strongest/optimal adversarial perturbations on state observations (within some constraints) is crucial for understanding the robustness of RL agents. However, finding the optimal adversary is challenging, in terms of both whether we can find the optimal attack and how efficiently we can find it. Existing works on adversarial RL either use heuristics-based methods that may not find the strongest adversary, or directly train an RL-based adversary by treating the agent as a part of the environment, which can find the optimal adversary but may become intractable in a large state space. This paper introduces a novel attacking method to find the optimal attacks through collaboration between a designed function named "actor" and an RL-based learner named "director". The actor crafts state perturbations for a given policy perturbation direction, and the director learns to propose the best policy perturbation directions. Our proposed algorithm, PA-AD, is theoretically optimal and significantly more efficient than prior RL-based works in environments with large state spaces. Empirical results show that our proposed PA-AD universally outperforms state-of-the-art attacking methods in various Atari and MuJoCo environments. By applying PA-AD to adversarial training, we achieve state-of-the-art empirical robustness in multiple tasks under strong adversaries. The codebase is released at https://github.com/umd-huang-lab/paad_adv_rl.

研究动机与目标

• 解决在有界约束下寻找深度强化学习智能体最强最优对抗扰动的挑战。
• 克服直接基于强化学习的对抗智能体在高维状态空间中的低效问题。
• 开发一种在降低对抗攻击搜索计算负担的同时实现理论最优性的方法。
• 通过使用所提出的攻击方法进行有效的对抗训练，提升深度强化学习智能体的鲁棒性。

提出的方法

• 提出一种策略对抗马尔可夫决策过程（PAMDP），其中最优策略可诱导出最强的状态级对抗者。
• 采用协作式双智能体框架：一名‘导演’学习最优策略扰动方向，一名‘演员’生成相应的状态扰动。
• 使用现成的强化学习算法在PAMDP上训练导演，与完整状态空间对抗者相比，显著减小了问题规模并降低了探索负担。
• 演员将策略扰动方向映射为状态空间扰动，从而实现高效且精准的攻击生成。
• 该方法在确定性与随机策略、向量化与像素化观测、离散与连续动作空间之间均具有可扩展性。
• 理论分析证明，PAMDP中的最优策略在任意给定攻击预算ε下，可产生最优状态对抗者。

实验结果

研究问题

• RQ1 我们能否在有界扰动预算下找到深度强化学习智能体的最优逃避对抗样本，而非依赖启发式或次优方法？
• RQ2 在直接基于强化学习的对抗者变得不可行的高维状态空间中，如何高效搜索最强对抗者？
• RQ3 我们能否将最优策略扰动搜索与直接状态空间优化解耦，以降低计算复杂度？
• RQ4 协作式导演-演员框架是否能实现优于现有方法的攻击性能与鲁棒性提升？

主要发现

• PA-AD在多种Atari和MuJoCo环境中普遍优于最先进攻击方法，以更小的攻击预算实现了更高的攻击成功率。
• 在Pong和LunarLander等环境中，PA-AD在l∞扰动半径为0.005时实现了100%的定向攻击成功率，显著优于在CIFAR-10上训练的图像分类器。
• 与先前工作相比，该方法显著减小了攻击者强化学习问题的规模，即使在高维状态空间中也能实现高效学习。
• 使用PA-AD进行对抗训练，在多个深度强化学习任务中实现了最先进水平的实证鲁棒性，证明了该方法在提升智能体抗干扰能力方面的有效性。
• PA-AD在保持理论最优性的同时，相比先前基于强化学习的对抗者显著提升了效率，尤其在大规模状态空间中优势明显。
• 该框架具有通用性，适用于离散与连续动作空间，以及向量化与像素化观测。