[论文解读] On the Expected Dynamics of Nonlinear TD Learning.

David Brandfonbrener, Joan Bruna|arXiv (Cornell University)|May 29, 2019

Neural Networks and Applications参考文献 12被引用 4

一句话总结

本文通过一个非线性常微分方程（ODE）分析了非线性TD(0)学习的期望动态，该方程捕捉了函数逼近器几何结构与马尔可夫链结构之间的相互作用。研究识别出一类函数逼近器（包括ReLU网络），在条件良好且可逆的环境中可确保收敛到真实值函数，并将已知的发散示例推广，以明确失败条件。

ABSTRACT

While there are convergence guarantees for temporal difference (TD) learning when using linear function approximators, the situation for nonlinear models is far less understood, and divergent examples are known. Here we take a first step towards extending theoretical convergence guarantees to TD learning with nonlinear function approximation. More precisely, we consider the expected learning dynamics of the TD(0) algorithm for value estimation. As the step-size converges to zero, these dynamics are defined by a nonlinear ODE which depends on the geometry of the space of function approximators, the structure of the underlying Markov chain, and their interaction. We find a set of function approximators that includes ReLU networks and has geometry amenable to TD learning regardless of environment, so that the solution performs about as well as linear TD in the worst case. Then, we show how environments that are more reversible induce dynamics that are better for TD learning and prove global convergence to the true value function for well-conditioned function approximators. Finally, we generalize a divergent counterexample to a family of divergent problems to demonstrate how the interaction between approximator and environment can go wrong and to motivate the assumptions needed to prove convergence.

研究动机与目标

• 将时序差分学习中线性函数逼近的理论收敛保证扩展到非线性函数逼近。
• 理解函数逼近器的几何结构与马尔可夫链结构如何共同影响学习动态。
• 确定非线性TD(0)全局收敛到真实值函数的条件。
• 形式化并推广已知的发散反例，以阐明非线性TD学习中的失败机制。

提出的方法

• 在步长趋于零的极限下，将TD(0)的期望学习动态建模为非线性ODE。
• 分析函数逼近器的几何结构与底层马尔可夫链转移结构之间的相互作用。
• 定义一类函数逼近器（包括ReLU网络），其在任何环境中均保持有利于TD学习的几何特性。
• 证明当环境条件良好且可逆时，所提出的逼近器类可实现对真实值函数的全局收敛。
• 将一个已知的发散反例推广为一类发散问题，以说明由逼近器-环境不匹配引发的失败模式。

实验结果

研究问题

• RQ1 在何种函数逼近器与环境条件下，非线性TD(0)会收敛到真实值函数？
• RQ2 函数逼近器空间的几何结构如何与马尔可夫链结构相互作用，从而影响学习动态？
• RQ3 环境可逆性在稳定或 destabilize 非线性TD(0)学习中起到何种作用？
• RQ4 如何将已知的发散示例推广，以揭示非线性TD学习中的根本失败机制？

主要发现

• 一类函数逼近器（包括ReLU网络）表现出支持稳定TD学习的几何特性，无论环境如何，均能确保最坏情况下的性能与线性TD相当。
• 在条件良好且可逆的环境中，所提出的逼近器类下，非线性TD(0)可实现对真实值函数的全局收敛。
• 逼近器几何与环境结构之间的相互作用可能导致发散，这一现象通过一类广义的发散反例得到形式化。
• 环境可逆性可增强学习动态，使其在非线性TD(0)设置下更易于收敛。