[论文解读] Nonparametric Stochastic Compositional Gradient Descent for Q-Learning in Continuous Markov Decision Problems

Alec Koppel, Ekaterina Tolstaya+2 more|arXiv (Cornell University)|Apr 19, 2018

Stochastic Gradient Optimization Techniques参考文献 36被引用 5

一句话总结

该论文提出KQ-Learning，一种用于连续马尔可夫决策过程（MDP）Q-learning的非参数随机复合梯度下降方法。通过在再生核希尔伯特空间（RKHS）中将贝尔曼最优方程表述为嵌套的随机规划问题，并结合函数型随机拟梯度方法与核正交匹配追踪（KOMP），该算法实现了对贝尔曼算子驻点的几乎必然收敛，同时具备可证明降低的内存复杂度，并在基准控制任务中表现出具有竞争力的性能。

ABSTRACT

We consider Markov Decision Problems defined over continuous state and action spaces, where an autonomous agent seeks to learn a map from its states to actions so as to maximize its long-term discounted accumulation of rewards. We address this problem by considering Bellman's optimality equation defined over action-value functions, which we reformulate into a nested non-convex stochastic optimization problem defined over a Reproducing Kernel Hilbert Space (RKHS). We develop a functional generalization of stochastic quasi-gradient method to solve it, which, owing to the structure of the RKHS, admits a parameterization in terms of scalar weights and past state-action pairs which grows proportionately with the algorithm iteration index. To ameliorate this complexity explosion, we apply Kernel Orthogonal Matching Pursuit to the sequence of kernel weights and dictionaries, which yields a controllable error in the descent direction of the underlying optimization method. We prove that the resulting algorithm, called KQ-Learning, converges with probability 1 to a stationary point of this problem, yielding a fixed point of the Bellman optimality operator under the hypothesis that it belongs to the RKHS. Under constant learning rates, we further obtain convergence to a small Bellman error that depends on the chosen learning rates. Numerical evaluation on the Continuous Mountain Car and Inverted Pendulum tasks yields convergent parsimonious learned action-value functions, policies that are competitive with the state of the art, and exhibit reliable, reproducible learning behavior.

研究动机与目标

• 解决连续状态与连续动作马尔可夫决策过程（MDP）中缺乏可证明收敛且稳定的强化学习算法的问题。
• 通过在再生核希尔伯特空间（RKHS）中采用非参数函数表示，克服无限时域、连续状态MDP中的维度灾难与计算不可行性问题。
• 开发一种内存高效、非参数的随机优化方法，保证对贝尔曼最优算子不动点的几乎必然收敛。
• 通过核正交匹配追踪（KOMP）选择核字典，实现对所学Q函数的可解释性、稀疏性与简洁性表示。
• 在标准连续控制基准上，与基于深度学习的方法相比，使用显著更少的训练样本，实现具有竞争力的策略性能。

提出的方法

• 将贝尔曼最优方程在再生核希尔伯特空间（RKHS）中重新表述为一个嵌套的非凸随机优化问题。
• 应用函数型随机拟梯度下降的泛化形式，以求解无限维优化问题，其参数化形式为标量权重与历史状态-动作对。
• 使用核正交匹配追踪（KOMP）贪婪地选择一组历史状态-动作对作为核字典点，以控制下降方向误差并限制内存增长。
• 引入一种混合探索策略，结合$ρ$-贪婪与均匀随机动作，探索率随时间衰减，以平衡利用与探索。
• 使用经验回放缓冲区（在Mountain Car任务中使用优先经验回放）以提高数据效率并稳定学习过程。
• 采用贝尔曼误差的样本平均近似来监控收敛性，并通过Q函数的希尔伯特范数进行归一化，以实现鲁棒的评估。

实验结果

研究问题

• RQ1 能否设计一种非参数、函数型的随机拟梯度方法，使其在具有无限维动作价值函数的连续MDP中实现几乎必然收敛？
• RQ2 如何在不牺牲收敛性保证或解的准确性前提下，控制基于核的Q-learning的内存复杂度？
• RQ3 所提出的方法是否能在连续控制基准上实现与基于深度学习的方法相当的策略性能，且训练样本数量显著更少？
• RQ4 核字典的可解释性如何增强对连续状态-动作空间中所学Q函数与策略的理解？
• RQ5 经验回放缓冲区与优先经验回放对不同MDP结构中学习稳定性与收敛性的影响如何？

主要发现

• 当真实Q函数属于RKHS时，在恒定学习率下，KQ-Learning几乎必然收敛至贝尔曼最优算子的驻点。
• 在连续Mountain Car与倒立摆任务中，归一化的贝尔曼测试误差均收敛至较低水平，平均奖励分别趋近于基准值90与-200。
• 模型复杂度（以核字典点数量衡量）保持适中，并随训练步数成比例增长，表明通过KOMP实现了有效的内存控制。
• 该方法在OpenAI Gym基准任务中实现了具有竞争力的策略性能，与SOTA方法（如深度确定性策略梯度）相当或更优，但训练样本数量却减少了数个数量级。
• 所得Q函数具有可解释性：核字典点揭示了对高价值策略至关重要的状态-动作空间的高覆盖区域。
• 在Pendulum领域中，经验回放缓冲区提升了学习性能，但在Mountain Car中未见明显改善，表明其有效性取决于MDP的奖励结构与时间动态特性。