[论文解读] On the Role of Discount Factor in Offline Reinforcement Learning

Hao Hu, Yiqin Yang+2 more|arXiv (Cornell University)|Jun 7, 2022

Advanced Bandit Algorithms Research被引用 8

一句话总结

本文研究了离线强化学习中折扣因子 γ 的双重作用，将其识别为同时调节正则化以平衡最优性与样本效率的调节器，以及一种增强分布偏移下鲁棒性的基于模型的悲观性形式。在表格化 MDP 和 D4RL 基准上的实证结果证实，γ 在各种数据设置下显著提升了性能，尤其在低数据量和高覆盖度场景中表现突出。

ABSTRACT

Offline reinforcement learning (RL) enables effective learning from previously collected data without exploration, which shows great promise in real-world applications when exploration is expensive or even infeasible. The discount factor, $γ$, plays a vital role in improving online RL sample efficiency and estimation accuracy, but the role of the discount factor in offline RL is not well explored. This paper examines two distinct effects of $γ$ in offline RL with theoretical analysis, namely the regularization effect and the pessimism effect. On the one hand, $γ$ is a regulator to trade-off optimality with sample efficiency upon existing offline techniques. On the other hand, lower guidance $γ$ can also be seen as a way of pessimism where we optimize the policy's performance in the worst possible models. We empirically verify the above theoretical observation with tabular MDPs and standard D4RL tasks. The results show that the discount factor plays an essential role in the performance of offline RL algorithms, both under small data regimes upon existing offline methods and in large data regimes without other conservative methods.

研究动机与目标

• 理解折扣因子 γ 在离线强化学习中尚未被充分探索的作用，特别是其对保守性和泛化能力的影响。
• 分析 γ 如何影响离线 RL 算法中最优性与样本效率之间的性能权衡。
• 研究较低的 γ 是否可作为一种自然的悲观性形式，类似于基于模型的不确定性正则化。
• 在不同数据设置下，通过表格化 MDP 和标准 D4RL 基准对理论洞见进行实证验证。
• 为选择 γ 提供实用指导，以提升离线 RL 性能，尤其是在缺乏其他保守方法的情况下。

提出的方法

• 对线性 MDP 中 γ 的影响进行理论分析，推导出量化其对泛化能力和鲁棒性影响的性能边界。
• 识别出两个独立的作用：(1) 在现有保守方法中，γ 作为调节器，权衡最优性与样本效率；(2) 通过最坏情况模型最大化，γ 作为一种基于模型的悲观性形式。
• 推导出依赖于 γ、数据集大小和覆盖系数的性能边界，表明 γ 对误差率的影响。
• 在表格化 MDP 上进行实证评估，以验证理论洞察中关于正则化与悲观性效应的结果。
• 在 D4RL 基准任务（如 Walker2D、Hopper、HalfCheetah）上进行评估，通过不同数据质量和覆盖度测试 γ 在真实世界条件下的影响。
• 使用带噪声的数据集评估鲁棒性，通过不同 γ 值下的回合回报和 log Q 值来衡量性能。

实验结果

研究问题

• RQ1 折扣因子 γ 如何影响离线 RL 中最优性与样本效率之间的权衡？
• RQ2 在基于模型的离线 RL 中，较低的 γ 是否可被解释为一种悲观性形式，其与显式不确定性正则化相比表现如何？
• RQ3 在无额外保守正则化的情况下，γ 对低数据量与高数据量设置下性能的定量影响是什么？
• RQ4 γ 在离线 RL 中如何与数据集覆盖度和分布偏移相互作用？
• RQ5 在离线 RL 算法中，γ 在多大程度上可替代其他保守方法？

主要发现

• 折扣因子 γ 在离线 RL 性能中起着关键作用，即使在无额外保守正则化的情况下，也能显著提升结果。
• 在低数据量场景中，较低的 γ 充当正则化器，提升样本效率并减少对有限数据的过拟合。
• 在数据量充足且覆盖度良好的场景中，较低的 γ 作为一种基于模型的悲观性形式，通过优化最坏情况模型提升鲁棒性。
• 在 D4RL 任务上的实证结果表明，最优 γ 值随数据质量和覆盖度而变化，在分布偏移条件下，较低的 γ 能提升性能。
• 理论边界证实，γ 会影响泛化误差，较低的 γ 在高不确定性或低覆盖度设置中可降低误差。
• 本研究表明，γ 不仅是超参数，更是保守离线 RL 的基本组成部分，能够替代或补充显式正则化技术。