[论文解读] Reward-Free Model-Based Reinforcement Learning with Linear Function Approximation

Weitong Zhang, Dongruo Zhou+1 more|arXiv (Cornell University)|Oct 12, 2021

Reinforcement Learning in Robotics参考文献 25被引用 6

一句话总结

本文提出了 UCRL-RFE 和 UCRL-RFE+ 两种可证明高效的基于模型的强化学习算法，用于在奖励自由设置下处理随机动态规划（MDP）的线性混合模型。通过使用一种以探索为导向的奖励函数和伪值函数，UCRL-RFE 实现了 $Õ(H^5 d^2 \\-2})$ 的样本复杂度，而 UCRL-RFE+ 通过引入一种伯恩斯坦型奖励项，将该复杂度进一步降低至 $Õ(H^4 d(H+d) \\-2})$，当 $H \geq d$ 时，该结果与信息论下界相匹配。这些结果为具有线性函数近似的奖励自由强化学习建立了紧致的样本复杂度边界。

ABSTRACT

We study the model-based reward-free reinforcement learning with linear function approximation for episodic Markov decision processes (MDPs). In this setting, the agent works in two phases. In the exploration phase, the agent interacts with the environment and collects samples without the reward. In the planning phase, the agent is given a specific reward function and uses samples collected from the exploration phase to learn a good policy. We propose a new provably efficient algorithm, called UCRL-RFE under the Linear Mixture MDP assumption, where the transition probability kernel of the MDP can be parameterized by a linear function over certain feature mappings defined on the triplet of state, action, and next state. We show that to obtain an $ε$-optimal policy for arbitrary reward function, UCRL-RFE needs to sample at most $ ilde{\mathcal{O}}(H^5d^2ε^{-2})$ episodes during the exploration phase. Here, $H$ is the length of the episode, $d$ is the dimension of the feature mapping. We also propose a variant of UCRL-RFE using Bernstein-type bonus and show that it needs to sample at most $ ilde{\mathcal{O}}(H^4d(H + d)ε^{-2})$ to achieve an $ε$-optimal policy. By constructing a special class of linear Mixture MDPs, we also prove that for any reward-free algorithm, it needs to sample at least $ ilde Ω(H^2dε^{-2})$ episodes to obtain an $ε$-optimal policy. Our upper bound matches the lower bound in terms of the dependence on $ε$ and the dependence on $d$ if $H \ge d$.

研究动机与目标

• 为解决传统强化学习在奖励函数频繁变更时的样本效率低下问题，提出一种将探索与奖励解耦的奖励自由范式。
• 研究在奖励自由设置下，基于模型的强化学习结合线性函数近似的统计效率，特别是在线性混合 MDP 假设下的表现。
• 弥合具有线性函数近似的奖励自由强化学习在样本复杂度上的上下界差距。
• 设计一种算法，实现接近最优的样本复杂度，同时对任意奖励函数具有可证明的高效性。

提出的方法

• 提出一种新颖的以探索为导向的奖励函数和伪值函数，用于引导线性混合 MDP 中的探索。
• 设计 UCRL-RFE，一种类似 UCRL 的算法，采用面对不确定性的乐观策略，并基于置信区间引入探索奖励项。
• 提出 UCRL-RFE+，一种使用伯恩斯坦型奖励项的变体，以减少过度探索并提升样本效率。
• 利用总变差分析来限制估计误差，并推导出更紧致的样本复杂度保证。
• 构造一类特殊的线性混合 MDP，以证明样本复杂度的匹配下界。
• 利用 Fano 不等式和 KL 散度分解，建立奖励自由强化学习的信息论极限。

实验结果

研究问题

• RQ1 在具有线性函数近似的线性混合 MDP 中，基于模型的奖励自由强化学习的最优样本复杂度是多少？
• RQ2 我们能否设计一种算法，在对任意奖励函数均具有可证明高效性的同时，实现接近最优的样本复杂度？
• RQ3 与基于标准置信区间探索的算法相比，使用伯恩斯坦型奖励项如何提升样本效率？
• RQ4 任何奖励自由算法要达到 $\epsilon$-最优策略，所需 episode 数量的信息论下界是什么？
• RQ5 在该设置下，样本复杂度对时域 $H$、特征维度 $d$ 和精度 $\epsilon$ 的依赖关系如何影响整体性能？

主要发现

• UCRL-RFE 在任意奖励自由线性混合 MDP 中，实现了 $\widetilde{\mathcal{O}}(H^5 d^2 \epsilon^{-2})$ 的样本复杂度，以学习 $\epsilon$-最优策略。
• UCRL-RFE+ 通过引入伯恩斯坦型奖励项，将样本复杂度降低至 $\widetilde{\mathcal{O}}(H^4 d(H+d) \epsilon^{-2})$，相比 UCRL-RFE 提升了 $\min\{H,d\}$ 的因子。
• 证明了匹配的下界 $\widetilde{\Omega}(H^2 d \epsilon^{-2})$，表明当 $H \geq d$ 时，UCRL-RFE+ 的复杂度在对数因子内达到最优。
• 所提出的以探索为导向的奖励函数和伪值函数能有效引导探索，聚焦于高不确定性的状态-动作对。
• 分析表明，当 $H \geq d$ 时，上界中对 $H$ 和 $d$ 的依赖关系与下界完全一致，证实了关键参数的紧致性。
• 本研究首次在线性混合 MDP 假设下，为基于模型的奖励自由强化学习提供了可证明高效的算法。