[论文解读] Penalizing side effects using stepwise relative reachability

Victoria Krakovna, Laurent Orseau+3 more|arXiv (Cornell University)|Jun 4, 2018

Reinforcement Learning in Robotics参考文献 34被引用 23

一句话总结

本文提出了一种新颖的方法，通过结合逐步行动不变基线与相对可达性偏差度量，来惩罚强化学习中的副作用，从而避免诸如干扰和幅度不敏感等有害激励。该方法在网格世界实验中优于现有基线和偏差度量，展现出更安全、更鲁棒的智能体行为，且无需人类监督或任务特定的奖励设计。

ABSTRACT

How can we design safe reinforcement learning agents that avoid unnecessary disruptions to their environment? We show that current approaches to penalizing side effects can introduce bad incentives, e.g. to prevent any irreversible changes in the environment, including the actions of other agents. To isolate the source of such undesirable incentives, we break down side effects penalties into two components: a baseline state and a measure of deviation from this baseline state. We argue that some of these incentives arise from the choice of baseline, and others arise from the choice of deviation measure. We introduce a new variant of the stepwise inaction baseline and a new deviation measure based on relative reachability of states. The combination of these design choices avoids the given undesirable incentives, while simpler baselines and the unreachability measure fail. We demonstrate this empirically by comparing different combinations of baseline and deviation measure choices on a set of gridworld experiments designed to illustrate possible bad incentives.

研究动机与目标

• 解决因强化学习中副作用惩罚设计不佳而导致的不安全智能体行为。
• 识别并消除由副作用惩罚设计缺陷引发的不良激励，例如对环境变化的干扰以及对破坏幅度的不敏感性。
• 提出一种新基线（逐步行动不变基线）和一种偏差度量（相对可达性），二者共同避免上述激励。
• 在受控的网格世界环境中评估不同基线与偏差度量组合的有效性。
• 为一种可扩展、内在的副作用惩罚方法奠定基础，使其能泛化至复杂环境。

提出的方法

• 将副作用惩罚分解为两个部分：一个基线状态和从该基线出发的偏差度量。
• 提出一种逐步行动不变基线，其中时间 t 的基线状态是通过从前一状态不采取任何动作所达到的状态，而非初始状态。
• 引入一种相对可达性偏差度量，用于量化当前状态相较于基线状态时，所有状态可达性的平均减少程度。
• 使用可达性函数 R(s′; s) 计算可达性，该函数衡量从状态 s′ 到达状态 s 的概率。
• 将相对可达性偏差定义为所有状态 s 上 max(R(s′; s) − R(s; s), 0) 的平均值，以捕捉因智能体行为导致的可达性损失。
• 在设计用于测试干扰、偏移和幅度不敏感性的网格世界环境中，对基线与偏差度量的组合进行实证评估。

实验结果

研究问题

• RQ1 在副作用惩罚中使用固定的初始状态作为基线时，会引发哪些不良激励？
• RQ2 偏差度量的选择（不可达性 vs. 相对可达性）如何影响智能体对环境破坏幅度的敏感性？
• RQ3 逐步行动不变基线是否能消除干扰激励，即智能体试图阻止自然或他人引起的不可逆变化？
• RQ4 逐步行动不变基线与相对可达性偏差度量的组合是否能避免所有三种关键不良激励：干扰、偏移和幅度不敏感？
• RQ5 与现有方法（如不可达性、可实现效用或人类监督）相比，该方法在安全性与鲁棒性方面表现如何？

主要发现

• 逐步行动不变基线成功消除了干扰激励，即智能体原本会试图阻止自然或他人引起的不可逆变化。
• 相对可达性偏差度量避免了幅度不敏感问题，对更大破坏（如打碎100个花瓶而非一个）的惩罚更重。
• 逐步行动不变基线与相对可达性偏差度量的组合在避免三种关键不良激励方面优于所有其他组合。
• 无论选择何种基线，不可达性度量始终导致幅度不敏感，因此不适合在破坏规模重要的现实应用中使用。
• 所提方法避免了偏移激励，即智能体不会在非最优或非预期行为下仍试图恢复基线状态。
• 网格世界中的实证结果证实，只有所提出的基线与偏差度量组合能避免所有三种已识别的不良激励，表明其是安全强化学习的必要基础。