[论文解读] Time Limits in Reinforcement Learning

Fabio Pardo, Arash Tavakoli+2 more|arXiv (Cornell University)|Dec 1, 2017

Reinforcement Learning in Robotics参考文献 32被引用 13

一句话总结

本文提出了两种针对限时回合制强化学习的关键改进：时间感知（time-awareness），通过将剩余时间作为输入来保持限时任务中的马尔可夫性质；以及部分回合bootstrapping（partial-episode bootstrapping），通过区分因时间限制终止与环境原因终止的情况，实现稳定的价值函数学习。这两种方法在表格型和深度强化学习基准测试中均显著提升了策略性能与训练稳定性。

ABSTRACT

In reinforcement learning, it is common to let an agent interact for a fixed amount of time with its environment before resetting it and repeating the process in a series of episodes. The task that the agent has to learn can either be to maximize its performance over (i) that fixed period, or (ii) an indefinite period where time limits are only used during training to diversify experience. In this paper, we provide a formal account for how time limits could effectively be handled in each of the two cases and explain why not doing so can cause state aliasing and invalidation of experience replay, leading to suboptimal policies and training instability. In case (i), we argue that the terminations due to time limits are in fact part of the environment, and thus a notion of the remaining time should be included as part of the agent's input to avoid violation of the Markov property. In case (ii), the time limits are not part of the environment and are only used to facilitate learning. We argue that this insight should be incorporated by bootstrapping from the value of the state at the end of each partial episode. For both cases, we illustrate empirically the significance of our considerations in improving the performance and stability of existing reinforcement learning algorithms, showing state-of-the-art results on several control tasks.

研究动机与目标

• 解决因时间限制处理不当导致的强化学习中状态混淆与训练不稳定性问题。
• 在回合制强化学习中，形式化区分时间限制终止与环境终止的差异。
• 通过将剩余时间作为智能体输入的一部分，改进有限时域任务中的信用分配与价值函数估计。
• 通过从因时间限制而终止的状态进行bootstrapping，提升无时间限制任务中的学习稳定性与性能。
• 在标准控制基准上，通过表格型Q-learning与近端策略优化（PPO）验证这些方法的有效性。

提出的方法

• 通过在智能体观测中增加一个归一化的标量表示剩余时间，引入时间感知，确保在限时任务中保持马尔可夫性质。
• 采用改进的回报公式 $ G_{t:T} = \sum_{k=1}^{T-t} \gamma^{k-1} R_{t+k} $，显式建模有限时域回报，其中 $ \gamma = 1 $。
• 通过在因时间限制而非环境动态导致回合终止时，从最后一个状态的价值进行bootstrapping，实现部分回合bootstrapping（PEB）。
• 修改PPO中的优势估计方法，当时间限制触发终止时，使用最终状态的价值进行bootstrapping，确保一致的bootstrapping。
• 在标准MuJoCo与OpenAI Gym环境中应用这两种技术，使用标准超参数的表格型Q-learning与PPO。
• 使用经验回放并仔细调整缓冲区大小，表明PEB可缓解因缓冲区大小导致的性能下降。

实验结果

研究问题

• RQ1 在限时强化学习任务中，若省略剩余时间信息，会对策略学习与信用分配产生何种影响？
• RQ2 为何当时间限制未被妥善处理时，经验回放会导致不稳定与次优策略？
• RQ3 从因时间限制而终止的状态进行bootstrapping，能否改善在部分回合中无时间限制任务的价值函数估计？
• RQ4 在有限时域任务中，时间感知在多大程度上能提升性能，其中智能体需在固定时间窗口内最大化回报？
• RQ5 在不同强化学习算法与环境中，时间感知与部分回合bootstrapping在性能与稳定性方面如何比较？

主要发现

• 时间感知智能体在有限时域任务中优于标准智能体，能正确处理剩余时间，学习在目标不可达时保持不动。
• 在 $ T=3 $ 的双目标网格世界中，时间感知Q-learning学习到了最优有限时域策略，而标准智能体则无法避免无谓动作。
• 在 $ T=200 $ 的确定性网格世界中，部分回合bootstrapping消除了经验回放缓冲区大小导致的性能下降，如表格型Q-learning所示。
• 标准PPO在时间限制环境中，随着经验回放缓冲区大小增加，性能显著下降；而采用部分回合bootstrapping的PPO则保持稳定且高性能。
• 时间感知PPO通过在智能体输入中正确建模时间范围，在多个MuJoCo控制任务中实现了最先进性能。
• 时间感知与部分回合bootstrapping的结合，在表格型与深度强化学习设置中均带来了更稳定、更样本高效的训练。