[论文解读] Offline Reinforcement Learning with Realizability and Single-policy Concentrability

Wenhao Zhan, Baihe Huang+3 more|arXiv (Cornell University)|Feb 9, 2022

Reinforcement Learning in Robotics被引用 6

一句话总结

该论文提出了一种无模型的离线强化学习算法，在仅假设最优值函数可实现化和单策略集中性这两个显著弱于先前工作的假设下，实现了多项式样本复杂度。通过利用带有归一化重要性权重和正则化的对偶公式，该方法确保了稳定学习，而无需所有策略集中性或贝尔曼完备性假设。

ABSTRACT

Sample-efficiency guarantees for offline reinforcement learning (RL) often rely on strong assumptions on both the function classes (e.g., Bellman-completeness) and the data coverage (e.g., all-policy concentrability). Despite the recent efforts on relaxing these assumptions, existing works are only able to relax one of the two factors, leaving the strong assumption on the other factor intact. As an important open problem, can we achieve sample-efficient offline RL with weak assumptions on both factors? In this paper we answer the question in the positive. We analyze a simple algorithm based on the primal-dual formulation of MDPs, where the dual variables (discounted occupancy) are modeled using a density-ratio function against offline data. With proper regularization, we show that the algorithm enjoys polynomial sample complexity, under only realizability and single-policy concentrability. We also provide alternative analyses based on different assumptions to shed light on the nature of primal-dual algorithms for offline RL.

研究动机与目标

• 解决在数据覆盖和函数逼近方面假设较弱条件下的样本高效离线强化学习这一开放问题。
• 放松先前大多数样本效率保证所依赖的强假设，即所有策略集中性和贝尔曼完备性。
• 开发一种无模型算法，在现实且实际的假设下保持稳定性和性能。
• 通过带正则化的对偶框架与双变量的密度比建模，提供理论保证。

提出的方法

• 利用马尔可夫决策过程的线性规划表示，将离线强化学习问题形式化为对偶优化问题。
• 通过相对于离线数据分布的密度比函数建模对偶变量（折扣占用分布）。
• 引入正则化目标，以确保对偶优化中的强严格凹性和稳定性。
• 使用集中不等式，界定经验损失函数与真实损失函数之间的泛化误差。
• 通过强凸性和范数控制，建立策略逼近和价值函数的误差界。
• 推导出将经验解与可实现性和单策略集中性下的正则化最优策略联系起来的泛化界。

实验结果

研究问题

• RQ1 是否仅在可实现性和单策略集中性假设下，即可实现样本高效的离线强化学习，而无需所有策略集中性或贝尔曼完备性？
• RQ2 带有密度比建模的对偶公式如何在弱数据覆盖假设下实现稳定学习？
• RQ3 正则化在缺乏强函数类假设的情况下，对确保收敛性和泛化性起到什么作用？
• RQ4 在弱假设下，近似误差和优化误差如何影响算法性能？
• RQ5 当最优策略未被数据覆盖时，该算法能否与数据支持集合中表现最佳的策略相竞争？

主要发现

• 所提算法在仅假设最优值函数可实现化和单策略集中性下，实现了多项式样本复杂度。
• 该方法提供了与统计误差项 $\epsilon_{\text{stat}}$ 成比例的泛化界，该误差项取决于离线样本数量和函数类容量。
• 策略逼近误差被限制为 $\|\widehat{w} - w^*_{\alpha}\|_{2,d^D} \leq \sqrt{\frac{4\epsilon_{\text{stat}}}{\alpha M_f}}$，确保收敛至正则化最优策略。
• 次优性差距 $J(\pi^*_{\alpha}) - J(\widehat{\pi})$ 被界定为 $\frac{1}{1-\gamma} \mathbb{E}_{s \sim d^*_{\alpha}}[\|\pi^*_{\alpha}(s,\cdot) - \widehat{\pi}(s,\cdot)\|_1]$，将策略误差与分布偏差联系起来。
• 分析可扩展至包含近似误差和优化误差的情形，表明在现实条件下具有鲁棒性。
• 即使最优策略未被覆盖，该方法仍能实现具有竞争力的性能，通过与数据支持集合中最佳策略竞争。