[论文解读] Off-policy Multi-step Q-learning

Gabriel Kalweit, Maria Huegle+1 more|arXiv (Cornell University)|Sep 25, 2019

Reinforcement Learning in Robotics参考文献 11被引用 4

一句话总结

本文提出复合Q-learning（Composite Q-learning），一种基于截断和偏移Q函数分别建模短期与长期回报的离策略多步时序差分方法。该方法提升了深度强化学习中的数据效率，在模拟机器人控制任务中优于TD3及当前最优的离策略方法。

ABSTRACT

In the past few years, off-policy reinforcement learning methods have shown promising results in their application for robot control. Deep Q-learning, however, still suffers from poor data-efficiency which is limiting with regard to real-world applications. We follow the idea of multi-step TD-learning to enhance data-efficiency while remaining off-policy by proposing two novel Temporal-Difference formulations: (1) Truncated Q-functions which represent the return for the first n steps of a policy rollout and (2) Shifted Q-functions, acting as the farsighted return after this truncated rollout. We prove that the combination of these short- and long-term predictions is a representation of the full return, leading to the Composite Q-learning algorithm. We show the efficacy of Composite Q-learning in the tabular case and compare our approach in the function-approximation setting with TD3, Model-based Value Expansion and TD3(Delta), which we introduce as an off-policy variant of TD(Delta). We show on three simulated robot tasks that Composite TD3 outperforms TD3 as well as state-of-the-art off-policy multi-step approaches in terms of data-efficiency.

研究动机与目标

• 提升真实世界机器人控制应用中离策略深度强化学习的数据效率。
• 解决尽管近期离策略方法取得进展，深度Q-learning在样本效率方面仍存在局限的问题。
• 提出一种新型离策略多步时序差分学习公式，兼顾稳定性与回报估计性能的提升。
• 通过结合短期与长期回报预测，实现更精确的价值函数近似。

提出的方法

• 引入截断Q函数以表示策略轨迹前n步的回报。
• 提出偏移Q函数以建模截断轨迹之后的远见回报。
• 将截断与偏移Q函数组合，形成完整回报的复合表示。
• 基于此复合回报公式，推导出一种新型离策略学习算法——复合Q-learning。
• 在表格设置与函数逼近设置中应用该方法，包括一种名为复合TD3（Composite TD3）的变体。
• 提出TD3(Delta)作为TD(Delta)的离策略变体，用于对比评估。

实验结果

研究问题

• RQ1 结合短期与长期回报预测是否能提升离策略深度强化学习中的数据效率？
• RQ2 所提出的复合Q-learning方法在样本效率方面与TD3及其他离策略多步方法相比表现如何？
• RQ3 使用截断与偏移Q函数是否能在离策略设置中实现更稳定且准确的价值函数学习？
• RQ4 复合回报公式是否能在提升学习性能的同时保持离策略一致性？

主要发现

• 在表格设置与函数逼近设置中，复合Q-learning相较于TD3展现出更优的数据效率。
• 在三个模拟机器人控制任务中，复合TD3在学习效率与最终性能方面均优于TD3。
• 该方法在数据效率方面超越了当前最优的离策略多步方法，展现出更优的样本利用率。
• 截断与偏移Q函数的结合提供了对完整回报更准确的表示，从而提升了学习的稳定性和收敛性。