[论文解读] Preventing Imitation Learning with Adversarial Policy Ensembles

Albert Zhan, Stas Tiomkin+1 more|arXiv (Cornell University)|Jan 31, 2020

Reinforcement Learning in Robotics参考文献 40被引用 4

一句话总结

本文提出对抗性策略集合（Adversarial Policy Ensembles, APE），一种新颖的强化学习框架，通过训练一组近优策略，主动抵抗外部观察者的行为克隆。通过修改策略梯度优化方法，同时最大化策略集合的性能并最小化任何克隆策略的性能，APE 在保持原始策略集合近优性能的同时，使克隆策略的回报下降超过5倍。

ABSTRACT

Imitation learning can reproduce policies by observing experts, which poses a problem regarding policy privacy. Policies, such as human, or policies on deployed robots, can all be cloned without consent from the owners. How can we protect against external observers cloning our proprietary policies? To answer this question we introduce a new reinforcement learning framework, where we train an ensemble of near-optimal policies, whose demonstrations are guaranteed to be useless for an external observer. We formulate this idea by a constrained optimization problem, where the objective is to improve proprietary policies, and at the same time deteriorate the virtual policy of an eventual external observer. We design a tractable algorithm to solve this new optimization problem by modifying the standard policy gradient algorithm. Our formulation can be interpreted in lenses of confidentiality and adversarial behaviour, which enables a broader perspective of this work. We demonstrate the existence of "non-clonable" ensembles, providing a solution to the above optimization problem, which is calculated by our modified policy gradient algorithm. To our knowledge, this is the first work regarding the protection of policies in Reinforcement Learning.

研究动机与目标

• 为解决强化学习隐私中的关键空白，保护专有策略免遭未经授权的克隆。
• 开发一种方法，确保专家示范对原始策略所有者仍具实用性，但对试图进行行为克隆的外部观察者无用。
• 制定一个约束优化问题，联合提升策略性能并降低任何潜在克隆策略的性能。
• 设计一种基于策略梯度的可计算算法，使此类对抗性策略集合在实践中可训练。
• 证明策略集合可被设计为不可克隆，即使外部观察者付出大量数据收集努力亦无法破解。

提出的方法

• 将问题形式化为约束优化：在最大化策略集合期望回报的同时，最小化假设克隆策略的期望回报。
• 引入一个虚构的观察者策略，该策略从策略集合的示范中学习，以建模行为克隆的最坏情况。
• 修改标准策略梯度算法，以同时估计策略集合策略和观察者虚拟策略的梯度。
• 使用蒙特卡洛采样近似观察者策略的梯度，从而实现对策略集合与观察者性能的联合优化。
• 在策略表示中引入上下文变量，以边缘化专家身份，使观察者无法推断出单个专家的行为。
• 在离散马尔可夫决策过程（MDP）环境中应用该算法，训练对行为克隆具有鲁棒性的策略集合。

实验结果

研究问题

• RQ1 是否可以设计一组专家策略，使其集体示范对试图通过行为克隆进行复制的外部观察者完全无用？
• RQ2 是否可能同时优化原始策略集合的高性能与任何从其衍生的克隆策略的低性能？
• RQ3 如何扩展策略梯度算法，以可微分且可计算的方式联合优化策略集合与虚拟观察者策略？
• RQ4 在使用所提方法时，克隆策略相较于原始策略集合的性能下降程度如何量化？
• RQ5 该框架能否推广至连续状态空间，并支持对克隆策略‘无用性’的多种定义？

主要发现

• 所提出的 APE 方法成功训练出近优性能的策略集合，同时使克隆策略的性能相比最优策略下降超过5倍。
• 在数值模拟中，APE 方法使策略集合与克隆策略之间的性能差异达到 +0.07，表明克隆策略显著劣于原始策略集合。
• 所有基线策略集合在策略集合与克隆策略之间表现出可忽略的性能差异，证实 APE 在防止克隆方面具有独特有效性。
• 即使观察者收集了大量示范数据，该方法依然有效，表明其对数据丰富的克隆尝试具有鲁棒性。
• 初步结果表明，若观察者使用强大的序列模型（如 RNN），对抗效应会减弱，表明该方法在面对先进模仿策略时存在有效性极限。
• 该框架可扩展至使用替代奖励函数，以定义超出期望回报的‘无用性’，从而实现对抗行为的定制化。