[论文解读] Optimal Attacks on Reinforcement Learning Policies

Alessio Russo, Alexandre Proutière|arXiv (Cornell University)|Jul 31, 2019

Adversarial Robustness in Machine Learning参考文献 21被引用 18

一句话总结

该论文通过将攻击建模为马尔可夫决策过程（MDP），提出针对深度强化学习策略的最优黑盒对抗攻击，以最小化智能体的累积奖励。采用带动作空间正则化的DDPG方法，该方法在离散动作空间中显著优于基于梯度的攻击方法（如FGSM），并表明更平滑（Lipschitz连续）的策略在对抗攻击下具有内在更强的鲁棒性。

ABSTRACT

Control policies, trained using the Deep Reinforcement Learning, have been recently shown to be vulnerable to adversarial attacks introducing even very small perturbations to the policy input. The attacks proposed so far have been designed using heuristics, and build on existing adversarial example crafting techniques used to dupe classifiers in supervised learning. In contrast, this paper investigates the problem of devising optimal attacks, depending on a well-defined attacker's objective, e.g., to minimize the main agent average reward. When the policy and the system dynamics, as well as rewards, are known to the attacker, a scenario referred to as a white-box attack, designing optimal attacks amounts to solving a Markov Decision Process. For what we call black-box attacks, where neither the policy nor the system is known, optimal attacks can be trained using Reinforcement Learning techniques. Through numerical experiments, we demonstrate the efficiency of our attacks compared to existing attacks (usually based on Gradient methods). We further quantify the potential impact of attacks and establish its connection to the smoothness of the policy under attack. Smooth policies are naturally less prone to attacks (this explains why Lipschitz policies, with respect to the state, are more resilient). Finally, we show that from the main agent perspective, the system uncertainties and the attacker can be modeled as a Partially Observable Markov Decision Process. We actually demonstrate that using Reinforcement Learning techniques tailored to POMDP (e.g. using Recurrent Neural Networks) leads to more resilient policies.

研究动机与目标

• 开发针对深度强化学习策略的最优对抗攻击，明确最小化智能体的平均奖励，而非依赖启发式梯度方法。
• 解决黑盒攻击的挑战，即攻击者无法访问策略或环境动态，仅能观测到状态和奖励。
• 研究策略的平滑性（特别是Lipschitz连续性）如何影响其对对抗扰动的脆弱性。
• 探讨是否可通过适用于部分可观察MDP（POMDP）的方法（如循环神经网络）训练智能体，从而提升其对抗攻击下的鲁棒性。
• 在包含离散与连续动作空间的多种OpenAI Gym环境中验证所提攻击框架的有效性。

提出的方法

• 将最优攻击建模为马尔可夫决策过程（MDP），其中攻击者的优化目标通过自定义奖励函数编码，以最小化智能体的累积回报。
• 在白盒攻击中，使用基于梯度的优化方法以提升MDP中的探索效率，避免依赖如FGSM等启发式方法。
• 在黑盒攻击中，使用深度确定性策略梯度（DDPG）训练攻击者的策略，经调整以处理代表输入扰动的大规模连续动作空间。
• 在DDPG中应用动作空间正则化，将扰动约束在有界$ε$-球内，确保攻击的现实性与针对性。
• 在图像环境（如Pong）中，提取一个4维特征向量（小球与挡板的位置），并在特征空间中直接应用攻击，以降低计算成本并提高可解释性。
• 从智能体的视角将攻击者的影响建模为POMDP，从而为使用带记忆机制的策略（如DRQN）提供理论依据，以增强鲁棒性。

实验结果

研究问题

• RQ1 当策略和环境动态已知时（白盒情形），能否将最优对抗攻击建模为马尔可夫决策过程？
• RQ2 在仅可观测状态和奖励、无法访问策略或动态的黑盒设置中，如何训练最优攻击？
• RQ3 策略的平滑性（以Lipschitz连续性衡量）在多大程度上影响其对对抗扰动的鲁棒性？
• RQ4 使用POMDP感知方法（如循环网络）训练智能体，是否能提升其在对抗攻击下的鲁棒性？
• RQ5 所提最优攻击在不同环境与动作空间类型下的性能增益，与标准梯度方法（如FGSM）相比如何？

主要发现

• 通过DDPG训练的所提最优攻击在所有测试场景中均显著优于FGSM等基于梯度的攻击方法，在$ε=0.07$时使离散MountainCar环境中的智能体性能下降高达30%。
• 在连续MountainCar环境中，攻击在$ε=0.07$时造成13%的性能损失，表明连续动作空间对小扰动具有内在更强的鲁棒性。
• 在Pong环境中，攻击在4维特征空间中实施，仅用500个训练回合便将智能体的平均奖励从最大值降至接近最小值（-20），在像素空间中扰动幅度极小（$ε=0.013$），证明了攻击的高效性。
• 理论分析表明，攻击的最大损害受策略Lipschitz常数的上界限制，解释了为何更平滑的策略更具鲁棒性。
• 使用记忆机制（如DRQN）训练的策略表现出更强的抗扰能力，证实POMDP建模可提升对抗不确定性下的鲁棒性。
• 研究结果确认，标准梯度攻击方法为次优，因其未显式最小化智能体在轨迹上的累积奖励，而所提MDP方法则实现了这一目标。