[论文解读] Sample Complexity of Asynchronous Q-Learning: Sharper Analysis and Variance Reduction

Gen Li, Yuting Wei+3 more|arXiv (Cornell University)|Jun 4, 2020

Age of Information Optimization被引用 5

一句话总结

本文针对单个马尔可夫轨迹上的异步Q-learning提供了更精细的分析，建立了比以往工作至少改进 $|\mathcal{S}||\mathcal{A}|$ 和 $t_{\text{mix}}|\mathcal{S}||\mathcal{A}|$ 的样本复杂度界，适用于小 $\varepsilon$ 的情形。此外，本文提出了一种方差减少的变体，改善了与有效时域 $1/(1-\gamma)$ 的缩放关系，在混合时间与状态动作占用率的标准假设下，实现了更紧密的收敛速率。

ABSTRACT

Asynchronous Q-learning aims to learn the optimal action-value function (or Q-function) of a Markov decision process (MDP), based on a single trajectory of Markovian samples induced by a behavior policy. Focusing on a $γ$-discounted MDP with state space $\mathcal{S}$ and action space $\mathcal{A}$, we demonstrate that the $\ell_{\infty}$-based sample complexity of classical asynchronous Q-learning --- namely, the number of samples needed to yield an entrywise $\varepsilon$-accurate estimate of the Q-function --- is at most on the order of $\frac{1}{μ_{\min}(1-γ)^5\varepsilon^2}+ \frac{t_{mix}}{μ_{\min}(1-γ)}$ up to some logarithmic factor, provided that a proper constant learning rate is adopted. Here, $t_{mix}$ and $μ_{\min}$ denote respectively the mixing time and the minimum state-action occupancy probability of the sample trajectory. The first term of this bound matches the sample complexity in the synchronous case with independent samples drawn from the stationary distribution of the trajectory. The second term reflects the cost taken for the empirical distribution of the Markovian trajectory to reach a steady state, which is incurred at the very beginning and becomes amortized as the algorithm runs. Encouragingly, the above bound improves upon the state-of-the-art result \cite{qu2020finite} by a factor of at least $|\mathcal{S}||\mathcal{A}|$ for all scenarios, and by a factor of at least $t_{mix}|\mathcal{S}||\mathcal{A}|$ for any sufficiently small accuracy level $\varepsilon$. Further, we demonstrate that the scaling on the effective horizon $\frac{1}{1-γ}$ can be improved by means of variance reduction.

研究动机与目标

• 为在马尔可夫采样下异步Q-learning的样本复杂度分析填补空白。
• 为获得最优Q函数 $\varepsilon$-准确估计所需样本数提供更紧致的界。
• 通过方差减少技术，改善对有效时域 $1/(1-\gamma)$ 的依赖关系。
• 分析混合时间 $t_{\text{mix}}$ 和最小占用概率 $\mu_{\text{min}}$ 对收敛性的影响。
• 建立与同步Q-learning具有竞争力的界，同时考虑马尔可夫轨迹的非i.i.d.特性。

提出的方法

• 推导经典异步Q-learning的基于 $\ell_\infty$ 的样本复杂度界，将误差分解为偏差与方差两部分。
• 在恒定学习率下，利用马尔可夫链的集中不等式，对Q值更新动态进行递归分析。
• 引入基于覆盖时间的分析方法，以界定向所有状态动作对被充分访问的时间，将其与混合时间 $t_{\text{mix}}$ 联系起来。
• 提出一种方差减少的Q-learning变体，通过在各周期内进行周期性平均以降低估计方差。
• 采用两阶段分析：一阶段针对大误差情形 ($\|\overline{\bm{Q}} - \bm{Q}^\star\|_\infty > 1/\sqrt{1-\gamma}$)，另一阶段针对小误差情形。
• 应用霍夫丁型不等式和对状态动作对的并集界，以控制经验分布误差，并获得高概率集中结果。

实验结果

研究问题

• RQ1 在单个马尔可夫轨迹上，异步Q-learning的最紧致样本复杂度界是什么？
• RQ2 混合时间 $t_{\text{mix}}$ 和最小占用概率 $\mu_{\text{min}}$ 如何影响异步Q-learning的收敛性？
• RQ3 方差减少技术能否改善异步Q-learning中对有效时域 $1/(1-\gamma)$ 的依赖关系？
• RQ4 异步Q-learning的样本复杂度与使用i.i.d.样本的同步Q-learning相比如何？
• RQ5 在马尔可夫采样中，初始预热阶段的作用是什么？如何随时间分摊其影响？

主要发现

• 经典异步Q-learning的样本复杂度界为 $O\left(\frac{1}{\mu_{\text{min}}(1-\gamma)^5\varepsilon^2} + \frac{t_{\text{mix}}}{\mu_{\text{min}}(1-\gamma)}\right)$，忽略对数因子。
• 第一项与从平稳分布中使用i.i.d.样本的同步Q-learning的样本复杂度一致。
• 第二项捕捉了初始非平稳性的代价，并随着经验分布收敛而随时间分摊。
• 该界相比Qu和Wierman (2020) 的工作，在所有情况下至少改进了 $|\mathcal{S}||\mathcal{A}|$，且在 $\varepsilon$ 较小时改进了 $t_{\text{mix}}|\mathcal{S}||\mathcal{A}|$。
• 方差减少技术降低了与 $1/(1-\gamma)$ 的缩放关系，改善了对有效时域的依赖。
• 使用马尔可夫链经验分布的高概率集中界来控制估计误差，显式依赖于 $K_N(s,a)$，即每个状态动作对的访问次数。