[论文解读] Pessimistic Model-based Offline RL: PAC Bounds and Posterior Sampling under Partial Coverage

Masatoshi Uehara, W. Sun|arXiv (Cornell University)|Jul 13, 2021

Advanced Bandit Algorithms Research参考文献 62被引用 6

一句话总结

本文提出约束性悲观策略优化（CPPO），一种基于模型的离线强化学习算法，通过约束在一般函数类中实现悲观性，从而在部分覆盖条件下实现样本高效学习。此外，本文引入一种贝叶斯后验采样方法（PS-PO），避免显式悲观性，实现在部分覆盖条件下具有理论保证的多项式样本复杂度。

ABSTRACT

We study model-based offline Reinforcement Learning with general function approximation. We present an algorithm named Constrained Pessimistic Policy Optimization (CPPO) which leverages a general function class and uses a constraint to encode pessimism. Under the assumption that the ground truth model belongs to our function class, CPPO can learn with the offline data only providing partial coverage, i.e., it can learn a policy that completes against any policy that is covered by the offline data, in polynomial sample complexity with respect to the statistical complexity of the function class. We then demonstrate that this algorithmic framework can be applied to many specialized Markov Decision Processes where the additional structural assumptions can further refine the concept of partial coverage. One notable example is low-rank MDP with representation learning where the partial coverage is defined using the concept of relative condition number measured by the underlying unknown ground truth feature representation. Finally, we introduce and study the Bayesian setting in offline RL. The key benefit of Bayesian offline RL is that algorithmically, we do not need to explicitly construct pessimism or reward penalty which could be hard beyond models with linear structures. We present a posterior sampling-based incremental policy optimization algorithm (PS-PO) which proceeds by iteratively sampling a model from the posterior distribution and performing one-step incremental policy optimization inside the sampled model. Theoretically, in expectation with respect to the prior distribution, PS-PO can learn a near optimal policy under partial coverage with polynomial sample complexity.

研究动机与目标

• 开发一种基于模型的离线强化学习算法，利用一般函数逼近在部分覆盖条件下实现样本高效学习。
• 通过函数类中的约束形式化悲观性，避免依赖线性结构或显式奖励惩罚。
• 通过表示学习与相对条件数，将框架扩展至特定 MDP（如低秩 MDP），以细化部分覆盖概念。
• 建立一种贝叶斯离线强化学习框架，消除对显式悲观性或惩罚项的需求。
• 为频率学与贝叶斯变体在部分覆盖条件下提供样本复杂度的理论保证。

提出的方法

• 提出 CPPO，一种约束优化框架，通过将策略更新限制在模型类的置信区域内来强制实现悲观性。
• 使用一般函数类表示环境模型，并施加约束以确保在部分覆盖下的悲观规划。
• 当应用于具有未知特征表示的低秩 MDP 时，通过相对条件数定义部分覆盖。
• 提出 PS-PO，一种基于后验采样的算法，通过从后验中迭代采样模型，并在其中执行一步策略优化。
• 利用贝叶斯推断隐式编码悲观性，避免显式奖励塑造或惩罚项。
• 为 CPPO 与 PS-PO 建立在先验分布上的期望下多项式样本复杂度边界。

实验结果

研究问题

• RQ1 基于模型的离线强化学习算法能否在使用一般函数逼近时，于部分覆盖条件下实现样本高效学习？
• RQ2 如何在非线性函数类中有效编码悲观性，而无需显式奖励惩罚？
• RQ3 哪些结构假设（如低秩 MDP）可细化部分覆盖概念并提升样本效率？
• RQ4 能否利用贝叶斯推断隐式实现悲观性，从而避免在离线强化学习中显式正则化？
• RQ5 在部分覆盖条件下，为频率学与贝叶斯离线强化学习变体可提供哪些样本复杂度的理论保证？

主要发现

• 在真实模型位于函数类中的假设下，CPPO 实现了学习策略的多项式样本复杂度，其性能可与任何被离线数据覆盖的策略相媲美。
• 通过利用未知特征表示的相对条件数定义部分覆盖，该框架可推广至低秩 MDP，从而提升样本效率。
• PS-PO 提供了一种贝叶斯替代方案，避免显式悲观性或奖励惩罚，在部分覆盖条件下实现近似最优性能。
• 理论分析表明，PS-PO 在先验分布上的期望下，以多项式样本复杂度学习到近似最优策略。
• 在部分覆盖条件下，CPPO 与 PS-PO 均被证明具有样本高效性，即使离线数据未覆盖所有状态-动作对亦成立。
• 该方法论框架支持一般函数逼近，适用于超越线性模型的广泛 MDP 结构。