[论文解读] Towards Instance-Optimal Offline Reinforcement Learning with Pessimism

Minghao Yin, Yu-Xiang Wang|arXiv (Cornell University)|Oct 17, 2021

Reinforcement Learning in Robotics参考文献 50被引用 4

一句话总结

本文提出一种基于悲观主义的实例最优离线强化学习框架，推导出可自适应于单个MDP实例的紧致次优性界。所提出的自适应悲观值迭代（APVI）算法实现的界几乎匹配 $ O\left(\sum_{h=1}^{H}\sum_{s_h,a_h} d^{\pi^\star}_h(s_h,a_h) \sqrt{\frac{\mathrm{Var}_{P_{s_h,a_h}}(V^{\star}_{h+1}+r_h)}{d^{\mu}_h(s_h,a_h)}} \sqrt{\frac{1}{n}} \right) $，在不同假设下可恢复已知的极小极大结果与问题相关结果，并建立了基于实例的信息论下界。

ABSTRACT

We study the offline reinforcement learning (offline RL) problem, where the goal is to learn a reward-maximizing policy in an unknown Markov Decision Process (MDP) using the data coming from a policy $μ$. In particular, we consider the sample complexity problems of offline RL for finite-horizon MDPs. Prior works study this problem based on different data-coverage assumptions, and their learning guarantees are expressed by the covering coefficients which lack the explicit characterization of system quantities. In this work, we analyze the Adaptive Pessimistic Value Iteration (APVI) algorithm and derive the suboptimality upper bound that nearly matches \[ O\left(\sum_{h=1}^H\sum_{s_h,a_h}d^{π^\star}_h(s_h,a_h)\sqrt{\frac{\mathrm{Var}_{P_{s_h,a_h}}{(V^\star_{h+1}+r_h)}}{d^μ_h(s_h,a_h)}}\sqrt{\frac{1}{n}} ight). \] In complementary, we also prove a per-instance information-theoretical lower bound under the weak assumption that $d^μ_h(s_h,a_h)>0$ if $d^{π^\star}_h(s_h,a_h)>0$. Different from the previous minimax lower bounds, the per-instance lower bound (via local minimaxity) is a much stronger criterion as it applies to individual instances separately. Here $π^\star$ is a optimal policy, $μ$ is the behavior policy and $d_h^μ$ is the marginal state-action probability. We call the above equation the intrinsic offline reinforcement learning bound since it directly implies all the existing optimal results: minimax rate under uniform data-coverage assumption, horizon-free setting, single policy concentrability, and the tight problem-dependent results. Later, we extend the result to the assumption-free regime (where we make no assumption on $ μ$) and obtain the assumption-free intrinsic bound. Due to its generic form, we believe the intrinsic bound could help illuminate what makes a specific problem hard and reveal the fundamental challenges in offline RL.

研究动机与目标

• 开发一种可证明高效的离线强化学习方法，使其自适应于单个问题实例，而非依赖于最坏情况假设。
• 推导出一个能反映每个MDP实例内在难度的次优性界，基于行为策略的覆盖性和价值方差。
• 通过局部极小极大性建立基于实例的信息论下界，该下界强于传统极小极大界。
• 将分析扩展至无假设范式，即不对行为策略做出任何数据覆盖性假设。
• 在单一内在界下统一并恢复现有结果——极小极大界、无时域界、单策略集中性与问题相关界。

提出的方法

• 提出自适应悲观值迭代（APVI）算法，通过在值迭代中引入悲观主义来处理离线数据中的分布偏移。
• 推导出次优性上界，其依赖于最优策略的状态动作访问频次 $ d^{\pi^\star}_h $、行为策略覆盖性 $ d^{\mu}_h $ 以及下一价值函数的方差 $ \mathrm{Var}_{P_{s_h,a_h}}(V^{\star}_{h+1}+r_h) $。
• 通过新颖的两点最优值估计归约证明基于实例的下界，建立局部极小极大最优性。
• 引入悲观增强MDP以分析无假设范式，实现无需任何数据覆盖性假设的界。
• 采用赫林格距离与二阶泰勒展开控制分布偏移，确保估计转移模型的统计一致性。
• 应用局部实例相关分析推导出对每个单独MDP实例成立的下界，而非仅在最坏情况实例的期望下成立。

实验结果

研究问题

• RQ1 我们能否在离线强化学习中推导出一个自适应于单个MDP实例内在难度的次优性界，而非依赖于最坏情况假设？
• RQ2 所提出的界如何与现有结果（如极小极大率、无时域界、单策略集中性）关联并恢复？
• RQ3 给定实例下离线强化学习的根本统计极限是什么？能否通过基于实例的下界来刻画？
• RQ4 我们能否在无假设范式中建立一个可证明高效的算法，即不对行为策略做出任何数据覆盖性假设？
• RQ5 所推导的界是否真实反映了离线强化学习的系统级复杂性，包括价值方差与覆盖性的角色？

主要发现

• APVI算法实现了几乎匹配 $ O\left(\sum_{h=1}^{H}\sum_{s_h,a_h} d^{\pi^\star}_h(s_h,a_h) \sqrt{\frac{\mathrm{Var}_{P_{s_h,a_h}}(V^{\star}_{h+1}+r_h)}{d^{\mu}_h(s_h,a_h)}} \sqrt{\frac{1}{n}} \right) $ 的次优性上界，且被证明为实例最优。
• 论文在弱假设 $ d^\mu_h(s_h,a_h) > 0 $ 当 $ d^{\pi^\star}_h(s_h,a_h) > 0 $ 时，证明了基于实例的信息论下界，该下界强于传统极小极大界。
• 内在界可恢复已知结果：在均匀覆盖下为极小极大率，无时域界，单策略集中性，以及问题相关界。
• 在无假设范式中，论文推导出无需任何数据覆盖性假设的界，仅依赖于行为策略的支撑集与MDP的结构。
• 分析表明，离线强化学习的根本挑战在于最优策略访问频次、行为策略覆盖性与价值函数方差之间的相互作用，而该内在界精确捕捉了这一点。
• 所推导的界在多个范式中被证明为紧致，表明所提方法实现了实例最优的样本复杂度。