[论文解读] Q-learning with Uniformly Bounded Variance: Large Discounting is Not a Barrier to Fast Learning

Adithya M. Devraj, Sean Meyn|arXiv (Cornell University)|Feb 24, 2020

Reinforcement Learning in Robotics参考文献 48被引用 9

一句话总结

本文提出相对Q-learning，一种改进的Q-learning算法，通过重新加权Q函数以消除对1/(1−γ)的依赖，从而在所有折扣因子γ < 1下实现渐近方差的统一有界性。与标准Q-learning（其方差随1/(1−γ)的平方增长）不同，相对Q-learning将这种依赖关系替换为对1/(1−ρ*γ)的依赖，其中ρ* < 1为最优策略转移矩阵谱间隙的上界，从而在大折扣情况下实现更快、更稳定的学习。

ABSTRACT

Sample complexity bounds are a common performance metric in the Reinforcement Learning literature. In the discounted cost, infinite horizon setting, all of the known bounds have a factor that is a polynomial in $1/(1-γ)$, where $γ&lt; 1$ is the discount factor. For a large discount factor, these bounds seem to imply that a very large number of samples is required to achieve an $\varepsilon$-optimal policy. The objective of the present work is to introduce a new class of algorithms that have sample complexity uniformly bounded for all $γ&lt; 1$. One may argue that this is impossible, due to a recent min-max lower bound. The explanation is that this previous lower bound is for a specific problem, which we modify, without compromising the ultimate objective of obtaining an $\varepsilon$-optimal policy. Specifically, we show that the asymptotic covariance of the Q-learning algorithm with an optimized step-size sequence is a quadratic function of $1/(1-γ)$; an expected, and essentially known result. The new relative Q-learning algorithm proposed here is shown to have asymptotic covariance that is a quadratic in $1/(1- ρ^* γ)$, where $1 - ρ^* &gt; 0$ is an upper bound on the spectral gap of an optimal transition matrix.

研究动机与目标

• 为解决标准Q-learning在大折扣（γ ≈ 1）下样本复杂度差的问题，即界随1/(1−γ)的恶化而变差。
• 表明现有样本复杂度界中1/(1−γ)p的依赖关系是人为的，可被更优的1/(1−ρ*γ)p因子替代。
• 开发一种新算法——相对Q-learning，实现与γ无关的渐近有界方差。
• 证明在Q函数重新加权下最优策略保持不变，从而实现稳定学习而不损失最优性。
• 通过渐近协方差分析和李雅普诺夫方程，为新算法的改进收敛特性提供理论依据。

提出的方法

• 提出一种相对Q-learning算法，通过从Q函数中减去常数η* / (1−γ)来消除最优Q函数中大常数项的影响。
• 采用修改后的更新规则，其步长序列与1/(1−ρ*γ)成正比，其中ρ* < 1为最优策略转移矩阵谱间隙的上界。
• 利用随机逼近理论和李雅普诺夫方程分析渐近协方差，推导出标准Q-learning与相对Q-learning渐近方差的闭式表达式。
• 证明标准Q-learning的渐近协方差增长为O(1/(1−γ)^2)，而相对Q-learning的渐近协方差被有界为O(1/(1−ρ*γ)^2)。
• 推导出一个关键恒等式，表明相对Q-learning的渐近协方差依赖于最优策略转移矩阵的谱间隙，而非1/(1−γ)。
• 通过在随机最短路径问题上的数值实验验证理论，比较γ = 0.999和γ = 0.9999下Q-learning与相对Q-learning的性能。

实验结果

研究问题

• RQ1 能否在不损害策略最优性的情况下，消除或显著降低样本复杂度界中对1/(1−γ)p的依赖？
• RQ2 通过移除常数项η*/(1−γ)对Q函数进行重新加权，是否能实现所有折扣因子下方差的统一有界性？
• RQ3 最优策略转移矩阵的谱间隙ρ*如何影响相对Q-learning的收敛速率？
• RQ4 能否通过修改算法，使Q-learning的渐近方差在所有γ < 1下保持统一有界？
• RQ5 与g = 1/(1−γ)相比，步长选择g = 1/(1−ρ*γ)对收敛稳定性和方差有何影响？

主要发现

• 标准Q-learning的渐近协方差随1/(1−γ)的平方增长，解释了其在大折扣下收敛缓慢的原因。
• 相对Q-learning的渐近协方差被有界于1/(1−ρ*γ)的平方形式，其中ρ* < 1，从而对所有γ < 1实现统一有界的方差。
• 当使用相同的步长g = 1/(1−ρ*γ)时，相对Q-learning在跨度半范数下的性能与标准Q-learning相当，证实方差减少并未以牺牲准确性为代价。
• 数值实验表明，相对Q-learning对大折扣不敏感，在γ = 0.9999时仍能实现稳定收敛。
• 理论分析表明，方差减少的原因在于最优策略的谱间隙ρ* < 1，确保1−ρ*γ < 1，从而避免了1/(1−γ)的发散。
• 结果表明，样本复杂度界可从O(1/(1−γ)^p)改进为O(1/(1−ρ*γ)^p)，消除了大折扣带来的非自然障碍。