[论文解读] Pessimistic Q-Learning for Offline Reinforcement Learning: Towards Optimal Sample Complexity

Laixi Shi, Gen Li+3 more|arXiv (Cornell University)|Feb 28, 2022

Reinforcement Learning in Robotics被引用 8

一句话总结

本文提出了一种用于有限时域马尔可夫决策过程的悲观Q学习方法（LCB-Q）及其方差缩减变体（LCB-Q-Adv），通过利用悲观性来缓解分布偏移和数据稀缺问题。在单策略集中性假设下，该方法实现了近似最优的样本复杂度 $\mathcal{O}(H^4 S C^* / \varepsilon^2)$，与理论下界一致，确立了无模型算法在离线强化学习中的样本效率。

ABSTRACT

Offline or batch reinforcement learning seeks to learn a near-optimal policy using history data without active exploration of the environment. To counter the insufficient coverage and sample scarcity of many offline datasets, the principle of pessimism has been recently introduced to mitigate high bias of the estimated values. While pessimistic variants of model-based algorithms (e.g., value iteration with lower confidence bounds) have been theoretically investigated, their model-free counterparts -- which do not require explicit model estimation -- have not been adequately studied, especially in terms of sample efficiency. To address this inadequacy, we study a pessimistic variant of Q-learning in the context of finite-horizon Markov decision processes, and characterize its sample complexity under the single-policy concentrability assumption which does not require the full coverage of the state-action space. In addition, a variance-reduced pessimistic Q-learning algorithm is proposed to achieve near-optimal sample complexity. Altogether, this work highlights the efficiency of model-free algorithms in offline RL when used in conjunction with pessimism and variance reduction.

研究动机与目标

• 尽管无模型、悲观的离线强化学习算法在实践中具有吸引力，但其理论理解仍显不足，本文旨在解决该问题。
• 在温和的分布假设下，弥合模型基于与无模型离线强化学习在样本效率方面的差距。
• 为有限时域马尔可夫决策过程中的悲观Q学习变体建立可证明的样本复杂度保证。
• 通过在无模型框架中结合悲观性和方差缩减，实现近似最优的样本复杂度。
• 证明当配备悲观性和方差缩减时，无模型算法能够达到离线强化学习的理论极限。

提出的方法

• 提出LCB-Q，一种Q学习的悲观变体，通过从Q值估计中减去置信区间惩罚项，以减少低数据区域的过估计。
• 引入LCB-Q-Adv，即LCB-Q的方差缩减版本，通过降低Q值更新中的随机噪声来提升样本效率。
• 利用单策略集中性假设来限制行为策略与最优策略之间比率的上界，从而在无需完整状态-动作覆盖的情况下实现泛化。
• 应用Freedman不等式和集中不等式来控制经验Q值估计与其期望之间的偏差。
• 通过将误差分解为偏差和方差两部分，推导出Q值估计误差的高概率界。
• 提出一种新颖的Q值更新误差分解方法，将其分解为涉及经验转移动态和值函数估计的项，从而在数据有限时实现紧密控制。

实验结果

研究问题

• RQ1 在温和的分布假设下，无模型、悲观的Q学习算法是否能在离线强化学习中实现近似最优的样本复杂度？
• RQ2 方差缩减是否能提升悲观Q学习在离线设置下的样本效率？
• RQ3 单策略集中性假设如何影响离线Q学习算法的样本复杂度？
• RQ4 悲观Q学习能否在有限时域马尔可夫决策过程中匹配样本复杂度的理论下界？
• RQ5 在数据稀缺且分布不均匀的情况下，置信区间在稳定Q值估计中起到何种作用？

主要发现

• LCB-Q在相同假设下实现了 $\mathcal{O}(H^6 S C^* / \varepsilon^2)$ 的样本复杂度，与最佳已知的模型基方法一致。
• LCB-Q-Adv实现了近似最优的样本复杂度 $\mathcal{O}(H^4 S C^* / \varepsilon^2)$，与理论下界仅相差对数因子。
• 方差缩减变体LCB-Q-Adv在低数据场景下显著提升了样本效率，相较于标准LCB-Q表现更优。
• 分析表明，在单策略集中性假设下，无模型Q学习中的悲观性具有可证明的有效性，即使在未完全覆盖状态-动作空间的情况下亦成立。
• 通过集中不等式和估计误差的细致分解，推导出理论保证，确保策略性能的高概率界。
• 结果表明，当结合悲观性和方差缩减时，无模型算法能够达到与模型基方法相同的样本复杂度。