[论文解读] Provably Efficient $Q$-learning with Function Approximation via Distribution Shift Error Checking Oracle

Simon S. Du, Yuping Luo+2 more|arXiv (Cornell University)|Jun 14, 2019

Reinforcement Learning in Robotics参考文献 40被引用 9

一句话总结

该论文提出了一种差异最大化Q-learning（DMQ）算法，该算法在随机性回合马尔可夫决策过程（stochastic episodic MDPs）中，通过线性函数逼近实现了可证明的高效性。通过引入一种分布偏移误差检测（DSEC）预言机，该算法能够在新探索改善泛化时进行检测，从而在常规假设下确保多项式样本复杂度，并收敛至ϵ-最优策略。

ABSTRACT

$Q$-learning with function approximation is one of the most popular methods in reinforcement learning. Though the idea of using function approximation was proposed at least 60 years ago, even in the simplest setup, i.e, approximating $Q$-functions with linear functions, it is still an open problem on how to design a provably efficient algorithm that learns a near-optimal policy. The key challenges are how to efficiently explore the state space and how to decide when to stop exploring in conjunction with the function approximation scheme. The current paper presents a provably efficient algorithm for $Q$-learning with linear function approximation. Under certain regularity assumptions, our algorithm, Difference Maximization $Q$-learning (DMQ), combined with linear function approximation, returns a near-optimal policy using a polynomial number of trajectories. Our algorithm introduces a new notion, the Distribution Shift Error Checking (DSEC) oracle. This oracle tests whether there exists a function in the function class that predicts well on a distribution $\mathcal{D}_1$, but predicts poorly on another distribution $\mathcal{D}_2$, where $\mathcal{D}_1$ and $\mathcal{D}_2$ are distributions over states induced by two different exploration policies. For the linear function class, this oracle is equivalent to solving a top eigenvalue problem. We believe our algorithmic insights, especially the DSEC oracle, are also useful in designing and analyzing reinforcement learning algorithms with general function approximation.

研究动机与目标

• 解决在随机性马尔可夫决策过程中设计具有函数逼近的可证明高效Q-learning算法这一长期存在的开放问题。
• 克服在函数逼近设置下高效探索与及时终止的双重挑战。
• 利用线性函数类，为样本效率和收敛至近似最优策略提供理论保证。
• 引入一种新的算法原原子——DSEC预言机，实现基于不同策略引起的分布偏移的自适应探索。

提出的方法

• 提出差异最大化Q-learning（DMQ）算法，该算法使用一种新颖的分布偏移误差检测（DSEC）预言机，以检测何时新探索具有益处。
• 将DSEC预言机定义为一种测试，用于判断某个函数在某一分布（例如，当前策略产生的分布）上预测良好，但在另一分布（例如，新探索策略产生的分布）上预测较差。
• 对于线性函数类，DSEC预言机可简化为求解最大特征值问题，从而实现高效计算。
• 基于状态分布的协方差矩阵，使用势函数论证方法，限制DSEC预言机返回'True'的次数。
• 利用经典线性回归分析，确保在当前策略的状态分布下，Q值估计的准确性。
• 结合预言机反馈与策略改进步骤，迭代扩展已探索策略的集合，从而在不过度探索的前提下确保收敛。

实验结果

研究问题

• RQ1 我们能否在随机性回合马尔可夫决策过程中，设计一种具有线性函数逼近的可证明高效Q-learning算法？
• RQ2 如何在确保通过函数逼近在状态之间实现泛化的同时，高效探索状态空间？
• RQ3 在函数逼近可能导致跨分布错误泛化的情况下，应采用何种机制来判断何时停止探索？
• RQ4 DSEC预言机能否用于检测指示新信息的分布偏移？在收敛前此类偏移最多可能发生多少次？
• RQ5 在具有线性函数类的背景下，是否可以使用势函数论证方法来界定探索步骤的数量？

主要发现

• 在常规假设下，DMQ使用poly(1/ϵ)数量的轨迹返回一个ϵ-次优策略，首次在随机设置下建立了具有线性函数逼近的可证明高效Q-learning算法。
• 对于线性函数类，DSEC预言机返回'True'的次数最多为多项式次数，从而确保探索过程有限且有界。
• 基于协方差矩阵的势函数论证证明了在探索过程中添加的不同策略数量是多项式有界的。
• 该算法运行时间多项式，且样本复杂度随1/ϵ（所需精度的倒数）多项式增长。
• 该理论框架可推广至一般函数类：DSEC预言机与算法结构适用于包括VC维有界的函数类在内的通用函数类。
• 本文为将可证明保证扩展至深度Q-learning奠定了基础，建议可通过具有小再生希尔伯特空间范数的核预测器来分析过参数化的神经网络。