[论文解读] Policy Teaching via Environment Poisoning: Training-time Adversarial Attacks against Reinforcement Learning

Amin Rakhsha, Goran Radanović+3 more|arXiv (Cornell University)|Mar 28, 2020

Adversarial Robustness in Machine Learning被引用 39

一句话总结

本论文在强化学习中开发一个训练时数据污染框架，强迫智能体采用目标策略，评估在奖励和转换动态污染下的离线规划和在线学习威胁。

ABSTRACT

We study a security threat to reinforcement learning where an attacker poisons the learning environment to force the agent into executing a target policy chosen by the attacker. As a victim, we consider RL agents whose objective is to find a policy that maximizes average reward in undiscounted infinite-horizon problem settings. The attacker can manipulate the rewards or the transition dynamics in the learning environment at training-time and is interested in doing so in a stealthy manner. We propose an optimization framework for finding an \\emph{optimal stealthy attack} for different measures of attack cost. We provide sufficient technical conditions under which the attack is feasible and provide lower/upper bounds on the attack cost. We instantiate our attacks in two settings: (i) an \\emph{offline} setting where the agent is doing planning in the poisoned environment, and (ii) an \\emph{online} setting where the agent is learning a policy using a regret-minimization framework with poisoned feedback. Our results show that the attacker can easily succeed in teaching any target policy to the victim under mild conditions and highlight a significant security threat to reinforcement learning agents in practice.

研究动机与目标

• 激励并形式化在未折扣的无限时域 MDPs 中运行的 RL 代理的训练时污染威胁。
• 发展基于优化的方法来构建隐蔽的污染策略，使目标策略 ε-鲁棒最优。
• 区分离线规划与在线学习的攻击模型，以及针对奖励与转换动态的攻击。
• 给出攻击可行性和成本的理论界限，以及构造性方法和仿真。

提出的方法

• 将 RL 建模为平均奖励 MDP，并为目标策略定义 ε-鲁棒最优性。
• 建立污染问题，通过修改奖励或转移动力学使目标策略在离线中成为最优，或引导在线学习者朝向目标策略。
• 引入基于邻近策略的验证（π{s;a}）以将约束复杂性从指数级降至关于 S 与 A 的线性。
• 推导用于污染奖励或转换的凸/结构化优化问题（P1、P3）和非凸的（P2、P4）形式，并分析可行性。
• 给出使用 Hajnal 指标（α）和 χ̄ 项的攻击成本充分条件和界限，并将离线结果与基于抽样的在线攻击联系起来。

实验结果

研究问题

• RQ1 攻击者是否可以污染环境，使得所选择的目标策略在离线规划中成为 ε-鲁棒最优？
• RQ2 如何通过污染奖励或转移动态来隐蔽地引导在线 RL 学习者朝向目标策略，同时最小化攻击成本？
• RQ3 此类污染攻击的成本理论界限及保障可行性的条件是什么？
• RQ4 离线污染结果如何转化为使用采样 MDP 的实际在线攻击模板？
• RQ5 污染奖励与污染动力学在攻击设计上的差异是什么？

主要发现

• 在温和条件下，攻击者可以在可行且隐蔽的情况下教会目标策略，且有可量化的成本边界。
• 通过奖励污染进行的离线规划攻击产生凸优化（P1），可行解及将成本与 χ̄ 和 α 关联的界限。
• 离线动力学污染攻击导致（通常非凸）问题（P2），但提供了攻击成本的充分条件和上下界。
• 在线攻击利用采样 MDP 方法，将平均不匹配与平均成本与学习者的后悔最小化以及 χ̄ε 联系起来，指导攻击设计。
• 对于在线攻击，当采样 MDP 是遍历的且目标策略是 ε-鲁棒最优时，框架表明可以实现 o(1) 的平均不匹配。