[论文解读] TempoRL: Learning When to Act

André Biedenkapp, Raghu Rajan+2 more|arXiv (Cornell University)|Jun 9, 2021

Reinforcement Learning in Robotics参考文献 35被引用 6

一句话总结

TempoRL 提出了一种主动式强化学习框架，通过在马尔可夫决策过程（MDP）中引入跳跃连接（skip-connections），使智能体能够同时学习 *执行何种动作* 以及 *何时做出新的决策*，从而实现对多个时间步的行动承诺。该方法使学习速度相比标准 DQN 最快提升 10 倍，同时提升了样本效率与可解释性，通过学习到的决策时机实现。

ABSTRACT

Reinforcement learning is a powerful approach to learn behaviour through interactions with an environment. However, behaviours are usually learned in a purely reactive fashion, where an appropriate action is selected based on an observation. In this form, it is challenging to learn when it is necessary to execute new decisions. This makes learning inefficient, especially in environments that need various degrees of fine and coarse control. To address this, we propose a proactive setting in which the agent not only selects an action in a state but also for how long to commit to that action. Our TempoRL approach introduces skip connections between states and learns a skip-policy for repeating the same action along these skips. We demonstrate the effectiveness of TempoRL on a variety of traditional and deep RL environments, showing that our approach is capable of learning successful policies up to an order of magnitude faster than vanilla Q-learning.

研究动机与目标

• 解决反应式强化学习的局限性，即无法学习 *何时* 做出新决策。
• 通过动作重复实现时间抽象，提升需要精细控制与粗粒度控制相结合环境中的学习效率。
• 开发一种无需环境结构或最优跳跃长度先验知识即可学习决策时机的方法。
• 通过允许智能体标识需要新动作的关键状态，提升可解释性。

提出的方法

• 在 MDP 框架中引入跳跃连接，使智能体能够在多个连续状态中重复执行相同动作。
• 定义一种跳跃-MDP（skip-MDP）形式化，使智能体学习一个跳跃策略（skip-policy），以确定动作的持续时间。
• 采用分层学习机制，联合优化行为策略与跳跃长度选择。
• 使用标准深度 Q 网络（DQN）与函数逼近，通过修改的损失函数端到端训练两种策略。
• 采用类似帧跳过的机制，但动态学习跳跃长度，而非固定长度。
• 使用经验回放与目标网络以稳定训练，类似于 DQN，但通过跳跃步长扩展了时间上下文。

实验结果

研究问题

• RQ1 主动式强化学习智能体能否在不了解环境结构的前提下，学习 *何时* 做出新决策？
• RQ2 学习跳跃动作是否能提升表格型与深度强化学习设置下的样本效率与收敛速度？
• RQ3 动态学习跳跃长度的能力与固定帧跳过或选项（options-based）方法相比有何差异？
• RQ4 TempoRL 在复杂环境中通过识别关键决策状态，在多大程度上提升了可解释性？
• RQ5 TempoRL 在探索策略、网络架构与最大跳跃长度超参数变化下的鲁棒性如何？

主要发现

• 在多个环境（包括网格世界与 Atari 游戏）中，TempoRL 相较于标准 DQN，学习速度最快提升 10 倍。
• 该方法通过更长且学习到的跳跃序列，显著提升了样本效率，增强了探索能力。
• 在 MountainCar 环境中，TempoRL 学习到在积累足够动量后使用大跳跃（最多 10 步），随后切换方向并维持高跳跃长度。
• 在 Qbert 环境中，智能体学习使用大跳跃高效点亮对角线平台，从而减少所需决策次数。
• 跳跃策略学习到在不重要的状态中避免不必要的动作，关键决策点在可视化中清晰可辨。
• 在学习速度与最终性能上，TempoRL 显著优于 DQN、DAR 与 FiGAR 等基线方法，即使在精细控制环境中亦然。