[论文解读] Thinking While Moving: Deep Reinforcement Learning with Concurrent Control

Ted Xiao, Eric Jang+5 more|arXiv (Cornell University)|Apr 13, 2020

Reinforcement Learning in Robotics参考文献 29被引用 16

一句话总结

本文提出了一种用于并发控制的深度强化学习框架，其中智能体必须在先前动作仍在执行时决定新动作。通过构建考虑系统延迟的连续时间贝尔曼方程，并将动作完成时间（tAS）和先前动作纳入观测，该方法实现了更快、更平滑的策略，在真实世界抓取任务中将策略持续时间减少了49%，同时保持了阻塞策略的性能。

ABSTRACT

We study reinforcement learning in settings where sampling an action from the policy must be done concurrently with the time evolution of the controlled system, such as when a robot must decide on the next action while still performing the previous action. Much like a person or an animal, the robot must think and move at the same time, deciding on its next action before the previous one has completed. In order to develop an algorithmic framework for such concurrent control problems, we start with a continuous-time formulation of the Bellman equations, and then discretize them in a way that is aware of system delays. We instantiate this new class of approximate dynamic programming methods via a simple architectural extension to existing value-based deep reinforcement learning algorithms. We evaluate our methods on simulated benchmark tasks and a large-scale robotic grasping task where the robot must "think while moving".

研究动机与目标

• 解决标准DRL方法的局限性，即假设动作在隔离状态下计算和执行，无法处理并发执行场景。
• 开发一种学习框架，使智能体能够在真实世界机器人动态、时变环境中实现思考与行动同步进行。
• 通过将系统延迟和动作历史信息整合进价值函数，确保在并发设置下Q-learning的收敛性保证。
• 通过避免动作阻塞并允许执行期间持续规划，实现更快、更类人的运动。
• 证明并发控制可在显著减少策略执行时间的同时，实现与阻塞基线相当的任务成功率。

提出的方法

• 推导适用于并发MDP的连续时间贝尔曼算子，考虑动作决策与执行之间的时延。
• 以显式建模系统延迟的方式对连续时间贝尔曼方程进行离散化，保持收缩性质以确保收敛性。
• 通过引入两个关键组件扩展状态观测：动作完成时间（tAS）和先前动作，以捕捉并发系统的动态特性。
• 提出向量到目标（VTG）作为新型表征，编码先前动作的剩余执行时间，提升鲁棒性并降低超参数敏感度。
• 通过架构改进扩展现有基于价值的DRL算法，整合并发知识，使模型可在并发环境中进行训练。
• 通过消融实验和真实世界机器人抓取任务验证方法的性能与效率提升。

实验结果

研究问题

• RQ1 基于价值的深度强化学习算法是否能在动作不被阻塞的并发控制设置中保持收敛性保证？
• RQ2 在并发环境中，引入动作完成时间（tAS）和先前动作信息对学习性能有何影响？
• RQ3 在并发控制任务中，tAS、先前动作或VTG哪种表征能带来最鲁棒和高效的训练？
• RQ4 并发控制是否能在显著减少策略执行时间的同时，实现与阻塞基线相当的任务成功率？
• RQ5 并发规划是否能产生更平滑、更类人的轨迹，从而提升机器人操作任务的表现？

主要发现

• 采用VTG表征的并发DRL框架在大规模模拟机器人抓取任务中实现了93.49%的抓取成功率，与阻塞基线相当，但将回合持续时间减少了31.3%。
• 在真实世界机器人抓取任务中，该并发模型实现了68.60%的抓取成功率，相比阻塞基线的81.43%，但策略持续时间减少了49%（11.52秒 vs. 22.60秒）。
• VTG表征对超参数最不敏感，并在并发设置下最有效地恢复了阻塞策略的性能。
• 并发模型生成的轨迹比阻塞基线更平滑、更快，视频回放和动作完成时间的减少进一步验证了这一点。
• 理论分析表明，经修改的贝尔曼算子仍为压缩映射，确保在并发执行下Q-learning的收敛性保证。
• 该方法成功实现了动作执行过程中的实时决策，适用于无法停止的动态机器人任务。