[论文解读] Sample-Efficient Reinforcement Learning Is Feasible for Linearly Realizable MDPs with Limited Revisiting

Gen Li, Yuxin Chen+3 more|arXiv (Cornell University)|May 17, 2021

Advanced Bandit Algorithms Research参考文献 58被引用 5

一句话总结

本文提出了一种新颖的在线强化学习协议，通过允许对先前访问过的状态进行受控且不频繁的重新访问，实现了在线线性可实现MDP中的样本高效学习。作者设计了一种定制算法，在特征维度、时域和次优性差距的倒数上实现多项式样本复杂度——且不依赖于状态/动作空间的大小，从而弥合了生成模型与标准在线强化学习之间的差距。

ABSTRACT

Low-complexity models such as linear function representation play a pivotal role in enabling sample-efficient reinforcement learning (RL). The current paper pertains to a scenario with value-based linear representation, which postulates the linear realizability of the optimal Q-function (also called the "linear $Q^{\star}$ problem"). While linear realizability alone does not allow for sample-efficient solutions in general, the presence of a large sub-optimality gap is a potential game changer, depending on the sampling mechanism in use. Informally, sample efficiency is achievable with a large sub-optimality gap when a generative model is available but is unfortunately infeasible when we turn to standard online RL settings. In this paper, we make progress towards understanding this linear $Q^{\star}$ problem by investigating a new sampling protocol, which draws samples in an online/exploratory fashion but allows one to backtrack and revisit previous states in a controlled and infrequent manner. This protocol is more flexible than the standard online RL setting, while being practically relevant and far more restrictive than the generative model. We develop an algorithm tailored to this setting, achieving a sample complexity that scales polynomially with the feature dimension, the horizon, and the inverse sub-optimality gap, but not the size of the state/action space. Our findings underscore the fundamental interplay between sampling protocols and low-complexity structural representation in RL.

研究动机与目标

• 为解决在线性函数逼近下强化学习中的样本效率挑战，特别是当最优Q函数为线性可实现时。
• 探究当最优Q函数为线性可实现但不存在较大次优性差距时，样本效率是否可在在线RL设置中实现。
• 探索一种新的采样协议，通过允许有限且受控地重访先前状态，实现灵活性与实用性的平衡。
• 开发一种算法，实现在关键问题参数上的多项式样本复杂度，同时避免对状态空间或动作空间大小的依赖。

提出的方法

• 提出一种新型采样协议，结合在线探索与不频繁、受控的先前访问状态重访，为标准在线RL与生成模型之间提供折中方案。
• 为该协议设计一种专用算法，利用线性Q函数可实现性的结构以及次优性差距，引导高效学习。
• 采用基于值的学习方法，结合线性函数逼近，假设最优Q函数位于已知特征的线性空间中。
• 使用改进的更新规则，同时结合在线策略转移与偶尔的重访，以降低Q值估计的方差。
• 在新协议下分析算法的样本复杂度，证明其在特征维度、时域和次优性差距倒数上的多项式缩放。
• 建立理论边界，表明该算法避免了对状态空间或动作空间大小的指数依赖。

实验结果

研究问题

• RQ1 能否在比生成模型更实用的采样协议下，实现线性可实现MDP中的样本高效强化学习？
• RQ2 在存在次优性差距的前提下，允许对过去状态进行有限且受控的重访，是否能实现多项式样本复杂度？
• RQ3 采样协议与结构假设（如线性可实现性）之间的相互作用如何影响样本效率？
• RQ4 当无法使用生成模型时，是否可能在具有线性函数逼近的在线强化学习中实现样本效率？

主要发现

• 所提出的算法实现的样本复杂度在特征维度、时域和次优性差距倒数上均呈多项式增长。
• 样本复杂度不依赖于状态空间或动作空间的大小，表明其可扩展至大规模或连续状态空间。
• 受控重访机制使得在标准在线RL失效的情况下仍能实现样本效率，即使在存在线性可实现性和次优性差距的前提下。
• 理论分析证实，新协议使在线线性可实现MDP中实现样本高效学习成为可能，解决了生成模型与标准在线RL之间的差距。
• 结果表明，当与线性可实现性等结构假设结合时，采样协议是实现样本效率的关键促成因素。
• 该算法在新协议下表现稳健，其理论保证在对特征表示和次优性差距的弱假设下依然成立。