[论文解读] Neural Temporal-Difference Learning Converges to Global Optima

Qi Cai, Zhuoran Yang+2 more|arXiv (Cornell University)|Jan 1, 2019

Reinforcement Learning in Robotics被引用 12

一句话总结

该论文首次证明了神经时间差分（TD）学习在策略评估中对均方投影贝尔曼误差的全局最优解的全局收敛性，建立了次线性收敛速率。该结果依赖于神经网络的过参数化，这使得尽管存在非凸性，优化过程仍能保持稳定，并可扩展至神经（软）Q学习和策略梯度方法。

ABSTRACT

Temporal-difference learning (TD), coupled with neural networks, is among the most fundamental building blocks of deep reinforcement learning. However, due to the nonlinearity in value function approximation, such a coupling leads to nonconvexity and even divergence in optimization. As a result, the global convergence of neural TD remains unclear. In this paper, we prove for the first time that neural TD converges at a sublinear rate to the global optimum of the mean-squared projected Bellman error for policy evaluation. In particular, we show how such global convergence is enabled by the overparametrization of neural networks, which also plays a vital role in the empirical success of neural TD. Beyond policy evaluation, we establish the global convergence of neural (soft) Q-learning, which is further connected to that of policy gradient algorithms.

研究动机与目标

• 解决由于值函数逼近中的非凸性而长期存在的神经TD学习全局收敛性开放问题。
• 在过参数化条件下，为神经TD在策略评估中建立理论保证。
• 将收敛性分析扩展至神经（软）Q学习，并将其与策略梯度算法关联。
• 通过过参数化在稳定优化中的作用，解释神经TD的实证成功。

提出的方法

• 使用过参数化的两层ReLU网络分析神经TD学习，以建模值函数。
• 通过次线性速率实现对均方投影贝尔曼误差（MSPBE）全局最优解的收敛。
• 采用基于轨迹的优化框架，追踪学习过程中神经网络权重的动力学。
• 利用过参数化确保神经网络的函数空间能以足够的表达力近似真实值函数。
• 运用非凸优化和神经正切核（NTK）理论的技术推导收敛边界。
• 将分析扩展至（软）Q学习，并通过与策略梯度目标的关联，证明其全局收敛性。

实验结果

研究问题

• RQ1 尽管存在非凸性，神经TD学习是否能全局收敛至最优值函数？
• RQ2 过参数化在实现神经TD全局收敛中起到什么作用？
• RQ3 该收敛保证能否从策略评估扩展至（软）Q学习？
• RQ4 神经TD的全局收敛性与策略梯度方法有何关联？

主要发现

• 神经TD学习以次线性速率全局收敛至均方投影贝尔曼误差的全局最优解。
• 过参数化对于通过稳定优化景观实现全局收敛至关重要。
• 收敛速率为次线性，这与过参数化模型在非凸优化中的理论预期一致。
• 该分析可扩展至神经（软）Q学习，在相同条件下建立了其全局收敛性。
• 神经TD的收敛性在理论上与策略梯度算法相关联，表明其具有共享的优化动力学。