[论文解读] Proximal Gradient Temporal Difference Learning: Stable Reinforcement Learning with Polynomial Sample Complexity

Bo Liu, Ian Gemp+4 more|arXiv (Cornell University)|Jun 6, 2020

Model Reduction and Neural Networks被引用 5

一句话总结

本文提出了近端梯度时序差分（PG-TD）学习，这是一种通过原始-对偶鞍点目标函数设计真正随机梯度TD算法的系统性框架。该工作首次为离策略GT D方法提供了有限样本分析，证明了多项式样本复杂度，并通过镜像映射实现收敛速率改进，实验验证了其在基线方法和LSTD方法上的性能提升。

ABSTRACT

In this paper, we introduce proximal gradient temporal difference learning, which provides a principled way of designing and analyzing true stochastic gradient temporal difference learning algorithms. We show how gradient TD (GTD) reinforcement learning methods can be formally derived, not by starting from their original objective functions, as previously attempted, but rather from a primal-dual saddle-point objective function. We also conduct a saddle-point error analysis to obtain finite-sample bounds on their performance. Previous analyses of this class of algorithms use stochastic approximation techniques to prove asymptotic convergence, and do not provide any finite-sample analysis. We also propose an accelerated algorithm, called GTD2-MP, that uses proximal ``mirror maps'' to yield an improved convergence rate. The results of our theoretical analysis imply that the GTD family of algorithms are comparable and may indeed be preferred over existing least squares TD methods for off-policy learning, due to their linear complexity. We provide experimental results showing the improved performance of our accelerated gradient TD methods.

研究动机与目标

• 通过基于原始-对偶鞍点目标函数的系统性方法，将梯度TD（GTD）算法的推导从非正式的分解方式转变为真正的随机梯度方法。
• 为离策略GT D算法提供首次有限样本收敛性分析，解决先前工作中缺乏此类分析的问题。
• 设计并分析加速的GT D变体（如GTD2-MP），利用近端镜像映射实现更快的收敛速率。
• 证明在离策略设置下，GT D方法与最小二乘TD（LSTD）方法相比具有可比性或更优性能，原因在于其线性计算复杂度。
• 在有限采样条件下，建立泛化误差和收敛速率的理论边界，实现对实际性能的可预测性。

提出的方法

• 将GT D算法形式化为从原始贝尔曼误差最小化问题导出的原始-对偶鞍点目标函数上的随机梯度下降。
• 应用算子分裂技术，推导出稳定且真正的随机梯度更新，避免了非正式的项分解。
• 引入近端镜像映射（例如在GTD2-MP中）以通过在更新规则中引入曲率信息来加速收敛。
• 利用鞍点误差分析，推导出价值函数估计期望误差的有限样本边界。
• 通过将平均迭代值与最优解的期望偏差以样本数量和问题条件数的形式进行有界，建立收敛速率。
• 采用基于随机逼近和鞍点优化的统一分析框架，分析现有及新型GT D变体。

实验结果

研究问题

• RQ1 能否正式地将GT D算法推导为真正的随机梯度方法，而非通过非正式的分解方式？
• RQ2 离策略GT D方法的有限样本收敛行为如何？其依赖于样本数量和算法参数的程度如何？
• RQ3 能否利用近端镜像映射在保持稳定性的同时加速GT D算法的收敛？
• RQ4 在离策略设置下，GT D方法的有限样本边界与基于LSTD的方法相比如何？
• RQ5 偏差重要性采样对所提出的GT D变体的收敛性和性能有何影响？

主要发现

• 本文首次为离策略GT D算法建立了有限样本收敛边界，表明期望误差随样本数量以多项式速率衰减。
• 使用近端镜像映射的GTD2-MP算法在实验中验证了其相比标准GT D方法具有更快的收敛速率。
• 有限样本误差边界以特征矩阵的条件数和转移矩阵的最大奇异值表示，为算法的稳定性和速度提供了洞见。
• 分析表明，GT D方法在每次迭代中具有线性计算复杂度，使其比具有特征维度二次复杂度的LSTD方法更具可扩展性。
• 理论框架实现了对现有和新型GT D变体的统一分析，证明了其在有限采样下的鲁棒性和收敛性。
• 实验结果证实，加速的GTD2-MP方法在电池能量套利领域任务中，相较于标准GT D和LSTD基线，在收敛速度和最终误差方面均表现更优。