[论文解读] Temporal-difference learning with nonlinear function approximation: lazy training and mean field regimes

Andréa Agazzi, Jianfeng Lu|arXiv (Cornell University)|May 27, 2019

Reinforcement Learning in Robotics参考文献 62被引用 4

一句话总结

本文分析了在马尔可夫奖励过程中使用宽深度神经网络进行价值函数近似时，时序差分（TD）学习的收敛性，比较了网络权重变化极小的懒训练（lazy training） regime 与非线性动力学占主导的均场（mean-field） regime。在懒训练 regime 中，证明了向全局或局部最小值的指数收敛；在均场 regime 中，表明所有不动点均为全局最小值，从而确保最优近似。

ABSTRACT

We discuss the approximation of the value function for infinite-horizon discounted Markov Reward Processes (MRP) with nonlinear functions trained with the Temporal-Difference (TD) learning algorithm. We first consider this problem under a certain scaling of the approximating function, leading to a regime called lazy training. In this regime, the parameters of the model vary only slightly during the learning process, a feature that has recently been observed in the training of neural networks, where the scaling we study arises naturally, implicit in the initialization of their parameters. Both in the under- and over-parametrized frameworks, we prove exponential convergence to local, respectively global minimizers of the above algorithm in the lazy training regime. We then compare this scaling of the parameters to the mean-field regime, where the approximately linear behavior of the model is lost. Under this alternative scaling we prove that all fixed points of the dynamics in parameter space are global minimizers. We finally give examples of our convergence results in the case of models that diverge if trained with non-lazy TD learning, and in the case of neural networks.

研究动机与目标

• 分析使用宽神经网络进行价值函数近似时，TD 学习的收敛性与最优性。
• 为懒训练 regime 中的 TD 学习建立理论保证，该 regime 中权重更新较小，模型行为近似线性。
• 比较懒训练 regime 与均场 regime，后者以非线性动力学为主导，评估其各自的收敛性与近似特性。
• 通过在合理缩放假设下提供收敛结果，弥合深度强化学习中理论与实践之间的差距。
• 将现有监督学习中的收敛结果扩展至 TD 学习中典型的非梯度、旋转向量场。

提出的方法

• 将线性函数近似中的压缩条件推广至非线性、微分几何设置，用于分析 TD 学习的动力学。
• 引入一种缩放参数初始化方法，使神经网络进入懒训练 regime，使网络参数在训练过程中缓慢演化。
• 应用均场理论技术，分析宽神经网络在均场缩放 regime 下的非线性动力学。
• 通过证明参数动力学的所有不动点均为最优解，证明在均场 regime 中收敛至全局最小值。
• 将基于梯度的监督学习收敛结果推广至非梯度 TD 学习框架，处理旋转向量场。
• 采用投影 TD 误差作为目标函数，并在参数不足与参数过量设置下分析收敛性。

实验结果

研究问题

• RQ1 在懒训练 regime 中，使用宽神经网络的 TD 学习是否收敛？收敛程度如何？
• RQ2 在收敛速度与近似质量方面，懒训练 regime 与均场 regime 相比有何差异？
• RQ3 在均场 regime 中，TD 学习动力学的所有不动点是否均为全局最优？
• RQ4 线性函数近似中的理论收敛保证能否推广至强化学习中非线性、宽神经网络的情形？
• RQ5 初始化缩放在确保非线性函数近似中稳定且收敛的训练中起到何种作用？

主要发现

• 在懒训练 regime 中，TD 学习在参数不足情况下指数快速收敛至局部最小值，在参数过量情况下收敛至全局最小值。
• 懒训练 regime 确保了收敛性，且不依赖于底层马尔可夫过程的可逆性，这与某些先前结果不同。
• 在均场 regime 中，TD 学习动力学的所有不动点均为全局最小值，意味着对真实价值函数实现了完美近似。
• 均场 regime 的近似能力强于懒训练 regime，因为所有驻定点均为最优。
• 该理论框架通过将基于压缩的分析推广至非梯度向量场，将监督学习的收敛结果扩展至 TD 学习。
• 数值示例验证了收敛特性，并凸显了标准 TD 学习发散但懒训练 regime 仍保持稳定的情况。