[论文解读] Off-Policy Reinforcement Learning with Delayed Rewards

Beining Han, Zhizhou Ren+3 more|arXiv (Cornell University)|Jun 22, 2021

Reinforcement Learning in Robotics参考文献 30被引用 14

一句话总结

该论文提出了一种新颖的离策略强化学习框架，用于处理具有延迟奖励的环境，通过引入新的 $Χ$-函数公式化和 HC-分解来应对非马尔可夫动力学。该方法确保了理论收敛性，并在高维设置下提升了训练稳定性和效率，在具有延迟反馈的基准任务中优于先前的方法。

ABSTRACT

We study deep reinforcement learning (RL) algorithms with delayed rewards. In many real-world tasks, instant rewards are often not readily accessible or even defined immediately after the agent performs actions. In this work, we first formally define the environment with delayed rewards and discuss the challenges raised due to the non-Markovian nature of such environments. Then, we introduce a general off-policy RL framework with a new Q-function formulation that can handle the delayed rewards with theoretical convergence guarantees. For practical tasks with high dimensional state spaces, we further introduce the HC-decomposition rule of the Q-function in our framework which naturally leads to an approximation scheme that helps boost the training efficiency and stability. We finally conduct extensive experiments to demonstrate the superior performance of our algorithms over the existing work and their variants.

研究动机与目标

• 解决在奖励延迟出现、非马尔可夫的环境中深度强化学习的挑战，这些奖励在动作执行后不会立即提供。
• 形式化一种过去不变的延迟奖励马尔可夫决策过程（PI-DRMDP），以捕捉现实场景如交通控制和分子设计。
• 开发一种基于理论基础的离策略算法，采用新的 $Χ$-函数公式化，确保在延迟奖励下的收敛性。
• 提出 HC-分解规则，以在高维状态空间中实现高效近似，提升训练稳定性和效率。
• 通过实证验证该方法在延迟奖励环境中的性能优于现有算法。

提出的方法

• 提出一种新的 $Χ$-函数公式化，显式利用历史（H）和当前（C）状态-动作信息来建模价值函数，以应对延迟奖励。
• 定义一种过去不变的延迟奖励马尔可夫决策过程（PI-DRMDP），其中奖励仅在可变长度信号区间的末尾被观测到，基于状态-动作对的序列。
• 提出 HC-分解规则，将 $Χ$-函数分解为 H 和 C 两部分，实现在高维空间中的高效函数近似。
• 将 HC-分解集成到如 SAC 等离策略算法中，实现具有延迟反馈的稳定高效训练。
• 采用带有 GRU 或结构化前馈架构的评论家网络来建模 $Χ$-函数，并使用独立的无偏评论家进行方差估计，以避免过估计偏差。
• 使用迭代相对信用修正（IRCR）和基于奖励区间的回报估计，以提升延迟奖励设置下的样本效率。

实验结果

研究问题

• RQ1 如何使离策略深度强化学习在具有延迟、非马尔可夫奖励的环境中既具备理论严谨性又具备实际有效性？
• RQ2 什么样的延迟奖励环境形式化是合适的，能够保持学习的关键属性，如过去不变性？
• RQ3 新的 $Χ$-函数公式化结合 HC-分解是否能提升高维、延迟奖励环境中的训练稳定性和样本效率？
• RQ4 与现有离策略算法相比，该方法在延迟奖励基准任务中的收敛性和性能表现如何？
• RQ5 GRU 或结构化网络等架构选择对延迟奖励环境中价值函数估计的影响是什么？

主要发现

• 所提出的 ${\mathcal{Q}}$-HC-Singleton 算法在延迟奖励任务（包括 Point Reach 和 MuJoCo 环境）中表现优于 SAC 及其他基线方法。
• HC-分解带来了更稳定高效的训练，实验中表现为策略梯度方差降低和收敛速度加快。
• 实验表明，使用基于区间的奖励而非回合回报，能提升延迟奖励环境下的性能，尤其在稀疏反馈场景中。
• 使用独立无偏评论家进行方差估计，证实该方法减少了过估计偏差并提升了梯度质量。
• 相对平均性能（RAP）指标显示，当在延迟奖励任务上微调时，该方法在密集奖励环境中优于 Oracle SAC，表明其具备强大的泛化能力。
• 对 $b_{\phi}(s_{t},a_{t})$ 的可视化显示，即使无法直接访问目标，学习到的价值函数仍能正确反映与目标的接近程度。