[论文解读] Provably Efficient Representation Selection in Low-rank Markov Decision Processes: From Online to Offline RL

Weitong Zhang, Jiafan He+3 more|arXiv (Cornell University)|Jun 22, 2021

Advanced Bandit Algorithms Research参考文献 41被引用 4

一句话总结

本文提出 ReLEX，一种在低秩马尔可夫决策过程（low-rank MDPs）中用于表示选择的可证明高效算法，支持在线和离线强化学习中对多种表示的自适应使用。在在线 RL 中实现了改进的遗憾界，在离线 RL 中于覆盖性假设下实现了恒定样本复杂度，优于单一表示方法。

ABSTRACT

The success of deep reinforcement learning (DRL) lies in its ability to learn a representation that is well-suited for the exploration and exploitation task. To understand how the choice of representation can improve the efficiency of reinforcement learning (RL), we study representation selection for a class of low-rank Markov Decision Processes (MDPs) where the transition kernel can be represented in a bilinear form. We propose an efficient algorithm, called ReLEX, for representation learning in both online and offline RL. Specifically, we show that the online version of ReLEX, called ReLEX-UCB, always performs no worse than the state-of-the-art algorithm without representation selection, and achieves a strictly better constant regret if the representation function class has a "coverage" property over the entire state-action space. For the offline counterpart, ReLEX-LCB, we show that the algorithm can find the optimal policy if the representation class can cover the state-action space and achieves gap-dependent sample complexity. This is the first result with constant sample complexity for representation learning in offline RL.

研究动机与目标

• 为解决在存在多种表示时，跨不同状态-动作对选择最优表示的挑战，特别是在强化学习中。
• 通过为每个状态-动作对动态选择最佳表示，提升在线和离线 RL 的样本效率。
• 为低秩 MDP 中的表示选择建立理论保证，尤其在双线性转移核条件下。
• 通过提供首个具有表示选择的恒定样本复杂度结果，弥合离线 RL 表示学习中的差距。
• 通过实证结果证明，表示选择相较于固定表示能显著提升性能。

提出的方法

• ReLEX 采用一种表示选择机制：在在线 RL 中选择使乐观 Q 值最小的表示（ReLEX-UCB），在离线 RL 中选择使悲观 Q 值最大的表示（ReLEX-LCB）。
• 该算法使用双线性形式建模转移核：$ \mathbb{P}(s'\mid s,a) = \bm{\phi}(s,a)^\top \mathbf{M}^* \bm{\psi}(s') $，以实现对低秩结构的利用。
• 在在线 RL 中，ReLEX-UCB 使用置信上界来平衡探索与表示选择，当表示类具有良好覆盖性时，遗憾界可进一步改善。
• 在离线 RL 中，ReLEX-LCB 应用悲观性以处理分布偏移，并在覆盖性假设下确保最优策略的识别。
• 该方法依赖矩阵集中与自归一化鞅不等式来控制表示估计中的不确定性。
• 它引入一种新颖的分析框架，以界表示选择误差，并推导出依赖于间隔的样本复杂度与恒定样本复杂度结果。

实验结果

研究问题

• RQ1 在在线和离线强化学习中，跨状态-动作对的动态表示选择是否能提升样本效率？
• RQ2 在在线 RL 中，表示选择是否能带来严格优于固定表示方法的遗憾界？
• RQ3 在覆盖性假设下，使用表示选择的离线 RL 算法能否实现恒定样本复杂度？
• RQ4 表示覆盖性如何影响低秩 MDP 中 RL 算法的性能与泛化能力？
• RQ5 所提出的算法 ReLEX 是否能在在线与离线设置中均优于单一表示基线？

主要发现

• ReLEX-UCB 的遗憾界不劣于无表示选择的最先进算法，且在表示类对状态-动作空间具有完整覆盖时，表现更优。
• ReLEX-LCB 在离线 RL 中实现了依赖于间隔的样本复杂度，并在行为策略覆盖性假设下达到恒定样本复杂度。
• 离线 RL 中的恒定样本复杂度是表示学习领域的首个此类结果，标志着重大的理论进展。
• 实证评估证实，ReLEX 在多种 MDP 中的在线与离线设置下，均优于任何单一表示。
• 当表示类包含能覆盖最优策略状态-动作分布的函数时，算法的性能增益最为显著。
• 理论分析表明，表示选择机制有效降低了不确定性，从而导出了更紧的泛化界。