[论文解读] Tightening the Dependence on Horizon in the Sample Complexity of Q-Learning

Gen Li, Changxiao Cai+4 more|arXiv (Cornell University)|Feb 12, 2021

Reinforcement Learning in Robotics参考文献 40被引用 8

一句话总结

本文通过新颖的误差分解与递归分析，将无限时域 MDP 中同步 Q-learning 的样本复杂度从 $\mathcal{O}\left(\frac{|\mathcal{S}||\mathcal{A}|}{(1-\gamma)^5\varepsilon^2}\right)$ 改进至 $\mathcal{O}\left(\frac{|\mathcal{S}||\mathcal{A}|}{(1-\gamma)^4\varepsilon^2}\right)$，在不增加额外计算或存储开销的前提下，实现了对有效时域 $\frac{1}{1-\gamma}$ 依赖关系的阶级降低。

ABSTRACT

Q-learning, which seeks to learn the optimal Q-function of a Markov decision process (MDP) in a model-free fashion, lies at the heart of reinforcement learning. When it comes to the synchronous setting (such that independent samples for all state-action pairs are drawn from a generative model in each iteration), substantial progress has been made recently towards understanding the sample efficiency of Q-learning. To yield an entrywise $\varepsilon$-accurate estimate of the optimal Q-function, state-of-the-art theory requires at least an order of $\frac{|\mathcal{S}||\mathcal{A}|}{(1-\gamma)^5\varepsilon^{2}}$ samples for a $\gamma$-discounted infinite-horizon MDP with state space $\mathcal{S}$ and action space $\mathcal{A}$. In this work, we sharpen the sample complexity of synchronous Q-learning to an order of $\frac{|\mathcal{S}||\mathcal{A}|}{(1-\gamma)^4\varepsilon^2}$ (up to some logarithmic factor) for any $0<\varepsilon <1$, leading to an order-wise improvement in terms of the effective horizon $\frac{1}{1-\gamma}$. Analogous results are derived for finite-horizon MDPs as well. Our finding unveils the effectiveness of vanilla Q-learning, which matches that of speedy Q-learning without requiring extra computation and storage. A key ingredient of our analysis lies in the establishment of novel error decompositions and recursions, which might shed light on how to analyze finite-sample performance of other Q-learning variants.

研究动机与目标

• 通过改进对有效时域 $\frac{1}{1-\gamma}$ 的依赖关系，降低无限时域 MDP 中同步 Q-learning 的样本复杂度。
• 在不增加计算或存储开销的前提下，弥合标准 Q-learning 与快速变体（如快速 Q-learning）在样本效率方面的差距。
• 通过引入新的分析工具，建立 Q-learning 有限样本性能的更紧致理论界。
• 将改进后的样本复杂度界扩展至有限时域 MDP。

提出的方法

• 开发新颖的误差分解技术，将 Q-learning 更新中的近似误差与估计误差分离。
• 推导误差在迭代间传播的新型递归关系，从而实现对收敛速度的更紧密控制。
• 在生成模型假设下分析同步 Q-learning 算法，即每次迭代中所有状态-动作对均被同时采样。
• 使用集中不等式与鞅论证，界定 Q-value 估计值与其期望之间的偏差。
• 在新误差框架下，对贝尔曼算子的压缩性质进行精细化分析。
• 通过将误差分解适配至有限时域结构，将分析扩展至有限时域 MDP。

实验结果

研究问题

• RQ1 能否通过降低对有效时域 $\frac{1}{1-\gamma}$ 的依赖关系，改进同步 Q-learning 的样本复杂度？
• RQ2 是否可能在不增加计算或存储成本的前提下，实现与快速 Q-learning 相当的样本效率？
• RQ3 需要哪些新的分析工具，才能在现有界的基础上，进一步紧致 Q-learning 的有限样本分析？
• RQ4 改进后的误差分解如何影响无限时域与有限时域 MDP 中的收敛速度？

主要发现

• 对于无限时域 MDP，同步 Q-learning 的样本复杂度从 $\mathcal{O}\left(\frac{|\mathcal{S}||\mathcal{A}|}{(1-\gamma)^5\varepsilon^2}\right)$ 提升至 $\mathcal{O}\left(\frac{|\mathcal{S}||\mathcal{A}|}{(1-\gamma)^4\varepsilon^2}\right)$，在对数因子范围内，实现了阶级降低。
• 该改进显著降低了对有效时域 $\frac{1}{1-\gamma}$ 的依赖关系，而这是样本复杂度中的关键瓶颈。
• 所提出的分析在不增加额外计算或存储的前提下，实现了与快速 Q-learning 相当的性能。
• 新颖的误差分解与递归框架实现了对误差传播的更紧密控制，这是实现更优界的核心。
• 该理论框架成功扩展至有限时域 MDP，实现了样本复杂度的类似改进。