[论文解读] Offline Reinforcement Learning with Value-based Episodic Memory

Xiaoteng Ma, Yiqin Yang+6 more|arXiv (Cornell University)|Oct 19, 2021

Reinforcement Learning in Robotics参考文献 31被引用 10

一句话总结

本文提出基于值函数的情景记忆（VEM），一种离线强化学习方法，利用分位数V学习（EVL）在离线数据的支持范围内严格学习值函数，避免外推误差。通过将EVL与基于离线轨迹的隐式规划相结合，VEM在性能上表现卓越——尤其在稀疏奖励环境中优于当前最先进基线方法，在D4RL基准测试中实现了更稳定的值估计与更快的收敛速度。

ABSTRACT

Offline reinforcement learning (RL) shows promise of applying RL to real-world problems by effectively utilizing previously collected data. Most existing offline RL algorithms use regularization or constraints to suppress extrapolation error for actions outside the dataset. In this paper, we adopt a different framework, which learns the V-function instead of the Q-function to naturally keep the learning procedure within the support of an offline dataset. To enable effective generalization while maintaining proper conservatism in offline learning, we propose Expectile V-Learning (EVL), which smoothly interpolates between the optimal value learning and behavior cloning. Further, we introduce implicit planning along offline trajectories to enhance learned V-values and accelerate convergence. Together, we present a new offline method called Value-based Episodic Memory (VEM). We provide theoretical analysis for the convergence properties of our proposed VEM method, and empirical results in the D4RL benchmark show that our method achieves superior performance in most tasks, particularly in sparse-reward tasks.

研究动机与目标

• 为解决离线强化学习中因动作超出数据集支持范围而产生的外推误差问题。
• 构建一个稳定、保守的值函数学习框架，平衡行为克隆与最优值学习。
• 通过基于离线轨迹的隐式规划，提升长时序与稀疏奖励任务中的策略学习性能。
• 为所提方法提供理论收敛保证，控制偏差与方差。
• 在D4RL基准测试中实现卓越性能，尤其在具有挑战性的稀疏奖励环境中。

提出的方法

• 提出分位数V学习（EVL），一种基于分位数算子的新颖值学习方法，可平滑插值于贝尔曼期望算子与最优算子之间。
• 采用基于值函数的情景记忆机制，沿离线轨迹进行隐式规划，提升优势估计，无需世界模型。
• 通过回归方式训练策略，利用改进的优势函数，避免因未见动作引发的自举误差。
• 在分位数损失中引入关键超参数τ，以平衡行为克隆与最优值学习。
• 提出一种基于记忆的规划方案，严格将规划限制在观测到的离线轨迹范围内，确保保守性。
• 理论上分析收敛性，证明在低集中率下可收敛，且具有较小的固定点偏差。

实验结果

研究问题

• RQ1 一种避免在数据集支持范围外采取动作的V学习框架，是否能实现更好的泛化能力并减少离线强化学习中的外推误差？
• RQ2 基于分位数的值学习如何以连续、可微的方式平衡模仿学习与最优值学习？
• RQ3 基于离线轨迹的隐式规划是否能改善优势估计并加速离线强化学习中的收敛？
• RQ4 所提方法是否能在D4RL基准测试的稀疏奖励任务中达到最先进性能？
• RQ5 分位数超参数τ对值估计稳定性与性能有何影响？

主要发现

• VEM在D4RL基准测试中达到最先进性能，尤其在AntMaze与Adroit等稀疏奖励任务中表现卓越。
• 消融实验表明，VEM能生成准确的值估计，对外推误差具有鲁棒性，优于BCQ-EM（后者存在值爆炸与不稳定性问题）。
• 分位数损失在处理极端值方面比分位数损失更稳定，尤其在高维或狭窄示范设置下表现更优。
• 与标准n步值估计相比，基于离线轨迹的隐式规划显著加速收敛。
• EVL中的超参数τ需谨慎调优：值过高（如τ=0.9）会导致过估计与性能崩溃，尤其在pen-human等复杂任务中更为明显。
• 理论分析证实，VEM具有可证明的收敛性，集中率低且固定点偏差小，支持其稳定性和可靠性。