[论文解读] Recurrent Network-based Deterministic Policy Gradient for Solving Bipedal Walking Challenge on Rugged Terrains

Doo Re Song, Chuanyu Yang+2 more|arXiv (Cornell University)|Oct 8, 2017

Reinforcement Learning in Robotics参考文献 11被引用 2

一句话总结

本文提出了一种增强的循环确定性策略梯度（RDPG）框架，通过引入时间bootstrap、基于轨迹扫描的隐藏状态初始化以及外部经验注入，以解决运动任务中的部分可观测性问题。在OpenAI的Bipedal-Walker复杂地形环境中评估，该方法通过有效管理误差方差并利用长期上下文与共享经验，在成功率和适应性方面优于领先基线方法。

ABSTRACT

This paper presents a deep learning framework that is capable of solving partially observable locomotion tasks based on our novel interpretation of Recurrent Deterministic Policy Gradient (RDPG). We study on bias of sampled error measure and its variance induced by the partial observability of environment and subtrajectory sampling, respectively. Three major improvements are introduced in our RDPG based learning framework: tail-step bootstrap of interpolated temporal difference, initialisation of hidden state using past trajectory scanning, and injection of external experiences learned by other agents. The proposed learning framework was implemented to solve the Bipedal-Walker challenge in OpenAI's gym simulation environment where only partial state information is available. Our simulation study shows that the autonomous behaviors generated by the RDPG agent are highly adaptive to a variety of obstacles and enables the agent to effectively traverse rugged terrains for long distance with higher success rate than leading contenders.

研究动机与目标

• 解决强化学习在运动任务中因代理缺乏完整状态信息而面临的部分可观测性挑战。
• 降低在部分可观测环境中由子轨迹采样引起的时序差分误差方差。
• 通过利用过去轨迹上下文初始化隐藏状态，提升策略学习的稳定性和样本效率。
• 通过整合其他智能体的外部经验，提升泛化能力与学习速度。
• 在模拟双足行走环境中实现长时程、自适应的复杂崎岖地形导航。

提出的方法

• 引入插值时序差分的尾部步骤bootstrap方法，以减少在部分可观测设置下由子轨迹采样引起的误差方差。
• 通过扫描过去轨迹实现隐藏状态初始化，以保留长期上下文信息并提升策略的一致性。
• 将其他智能体的外部经验注入经验回放缓冲区，以加速学习并提升鲁棒性。
• 通过引入循环神经网络扩展RDPG框架，以建模状态-动作序列中的序列依赖关系。
• 采用带有经验回放的确定性策略梯度更新规则，以稳定连续控制任务的训练过程。
• 通过逐步增加复杂度的地形配置实施课程学习，以提升训练收敛性与泛化能力。

实验结果

研究问题

• RQ1 部分可观测性在基于子轨迹的训练中如何影响时序差分误差的方差？
• RQ2 基于过去轨迹的隐藏状态初始化在多大程度上能提升策略学习的稳定性和性能？
• RQ3 从其他智能体注入外部经验在加速学习和增强泛化能力方面的有效性如何？
• RQ4 所提出的RDPG扩展是否能在崎岖、部分可观测的复杂地形中实现长时程双足行走的优越性能？
• RQ5 在多种地形配置下，该框架与最先进方法相比，在成功率和适应性方面表现如何？

主要发现

• 所提出的RDPG框架通过使用插值尾部步骤bootstrap方法，在时序差分学习中显著降低了误差方差。
• 通过过去轨迹扫描实现的隐藏状态初始化提升了策略的一致性，并在部分可观测环境中实现了更优的长期规划能力。
• 外部经验注入加速了收敛过程，并在复杂地形场景中显著增强了鲁棒性。
• 与Bipedal-Walker环境中领先基线方法相比，该智能体在穿越崎岖地形时取得了更高的成功率。
• 该框架实现了稳定且自适应的长距离运动，展示了在多样化障碍物配置下的有效泛化能力。