[论文解读] Representation Learning for Online and Offline RL in Low-rank MDPs

Masatoshi Uehara, Xuezhou Zhang+1 more|arXiv (Cornell University)|Oct 9, 2021

Advanced Bandit Algorithms Research参考文献 58被引用 5

一句话总结

本文提出 Rep-UCB，一种用于低秩马尔可夫决策过程（MDPs）的表示学习新算法，实现了在线和离线强化学习的样本高效。通过将置信度上界与表示学习相结合，其样本复杂度显著提升至 $\widetilde{O}(d^4 A^2 / (\epsilon^2 (1-\gamma)^5))$，相比先前工作有显著改进，且相较于 Flambe 等 explore-then-commit 方法更为简洁高效。

ABSTRACT

This work studies the question of Representation Learning in RL: how can we learn a compact low-dimensional representation such that on top of the representation we can perform RL procedures such as exploration and exploitation, in a sample efficient manner. We focus on the low-rank Markov Decision Processes (MDPs) where the transition dynamics correspond to a low-rank transition matrix. Unlike prior works that assume the representation is known (e.g., linear MDPs), here we need to learn the representation for the low-rank MDP. We study both the online RL and offline RL settings. For the online setting, operating with the same computational oracles used in FLAMBE (Agarwal et.al), the state-of-art algorithm for learning representations in low-rank MDPs, we propose an algorithm REP-UCB Upper Confidence Bound driven Representation learning for RL), which significantly improves the sample complexity from $\widetilde{O}( A^9 d^7 / (ε^{10} (1-γ)^{22}))$ for FLAMBE to $\widetilde{O}( A^2 d^4 / (ε^2 (1-γ)^{5}) )$ with $d$ being the rank of the transition matrix (or dimension of the ground truth representation), $A$ being the number of actions, and $γ$ being the discounted factor. Notably, REP-UCB is simpler than FLAMBE, as it directly balances the interplay between representation learning, exploration, and exploitation, while FLAMBE is an explore-then-commit style approach and has to perform reward-free exploration step-by-step forward in time. For the offline RL setting, we develop an algorithm that leverages pessimism to learn under a partial coverage condition: our algorithm is able to compete against any policy as long as it is covered by the offline distribution.

研究动机与目标

• 解决在转移动态为低秩但表示未知的低秩 MDP 中学习紧凑、低维表示的挑战。
• 通过在统一框架中直接平衡表示学习、探索与利用，提升在线强化学习的样本效率。
• 在部分覆盖条件下，设计一个可证明高效的离线强化学习算法，确保对任何被数据分布覆盖的策略均具备性能保证。
• 克服先前 explore-then-commit 方法的局限性，实现时间步之间的数据共享，并简化算法设计。

提出的方法

• 提出 Rep-UCB，一种基于置信度上界的算法，联合优化在线强化学习中低秩 MDP 的表示学习、探索与利用。
• 利用基于最新学习表示的置信度奖励引导探索，确保充分覆盖状态-动作空间。
• 利用 Flambe 中的计算预言机（如最大似然估计和经验风险最小化）保持预言机效率，同时提升样本复杂度。
• 在离线强化学习中，应用悲观性原则处理分布偏移，确保算法能与任何行为被离线数据分布部分覆盖的策略相竞争。
• 引入仅依赖于真实表示 $\phi^\star$ 的部分覆盖条件，相较于先前方法提供更强的泛化保证。
• 通过表示误差分解与有限样本泛化界，利用引理 23 将误差界转化为样本复杂度，推导出样本复杂度结果。

实验结果

研究问题

• RQ1 当表示未知时，与 explore-then-commit 方法相比，我们能否在低秩 MDP 的在线强化学习中实现更优的样本复杂度？
• RQ2 我们如何设计一种统一算法，使其在表示学习、探索与利用之间的平衡优于先前方法？
• RQ3 在存在分布偏移的情况下，离线强化学习所需的最小覆盖条件是什么？
• RQ4 我们能否在不假设表示已知的前提下，实现低秩 MDP 中可证明高效的强化学习？
• RQ5 所提方法的样本复杂度如何随秩 $d$、动作数 $A$ 和折扣因子 $\gamma$ 变化？

主要发现

• Rep-UCB 在在线强化学习中实现了 $\widetilde{O}(d^4 A^2 / (\epsilon^2 (1-\gamma)^5))$ 的样本复杂度，相比 Flambe 的 $\widetilde{O}(A^9 d^7 / (\epsilon^{10} (1-\gamma)^{22}))$ 显著提升。
• 所提算法比 Flambe 更为简洁，因其避免了分层的、逐层 explore-then-commit 结构，并实现了时间步之间的数据共享。
• 在离线强化学习中，该算法在基于真实表示的局部覆盖条件下，能与任何行为被离线数据分布覆盖的策略相竞争。
• 本工作所用的部分覆盖条件弱于先前工作（如 Xie 等，2021），因其仅依赖于 $\phi^\star$，而非包含奖励在内的增强特征。
• 该算法的性能保证可扩展至历史依赖策略，而某些先前方法仅限于马尔可夫策略。
• 理论分析依赖于一种新颖的有限样本误差到复杂度转换（引理 23），通过控制泛化误差中的对数因子，实现更紧致的样本复杂度界。