[论文解读] Proximal Algorithms and Temporal Differences for Large Linear Systems: Extrapolation, Approximation, and Simulation

Dimitri P. Bertsekas|arXiv (Cornell University)|Oct 18, 2016

Advanced Optimization Algorithms Research参考文献 54被引用 3

一句话总结

本文建立了求解大规模线性系统所用的近似算法与强化学习及动态规划中使用的时序差分（TD）方法之间的深层理论与算法联系。通过证明TD(λ)可被解释为近似迭代的一种随机变体，该研究使近似方法能够通过外推至TD动态而实现直接加速，从而在不增加额外成本的情况下保证收敛速度提升。

ABSTRACT

We consider large linear and nonlinear fixed point problems, and solution with proximal algorithms. We show that there is a close connection between two seemingly different types of methods from distinct fields: 1) Proximal iterations for linear systems of equations, which are prominent in numerical analysis and convex optimization, and 2) Temporal difference (TD) type methods, such as TD(lambda), LSTD(lambda), and LSPE(lambda), which are central in simulation-based approximate dynamic programming/reinforcement learning (DP/RL), and its recent prominent successes in large-scale game contexts, among others. One benefit of this connection is a new and simple way to accelerate the standard proximal algorithm by extrapolation towards the TD iteration, which generically has a faster convergence rate. Another benefit is the potential integration into the proximal algorithmic context of several new ideas that have emerged in the DP/RL context. We discuss some of the possibilities, and in particular, algorithms that project each proximal iterate onto the subspace spanned by a small number of basis functions, using low-dimensional calculations and simulation. A third benefit is that insights and analysis from proximal algorithms can be brought to bear on the enhancement of TD methods. The linear fixed point methodology can be extended to nonlinear fixed point problems involving a contraction, thus providing guaranteed and potentially substantial acceleration of the proximal and forward backward splitting algorithms at no extra cost. Moreover, the connection of proximal and TD methods can be extended to nonlinear (nondifferentiable) fixed point problems through new proximal-like algorithms that involve successive linearization, similar to policy iteration in DP.

研究动机与目标

• 揭示优化中的近似算法与强化学习中时序差分（TD）方法之间的根本联系。
• 通过外推至TD(λ)动态，实现近似算法的加速，从而获得更快的收敛速度。
• 通过连续线性化方法将近似框架扩展至非线性不动点问题，受动态规划中策略迭代的启发。
• 将强化学习中的基于模拟的近似技术整合进近似算法，以应对大规模问题。
• 在精确与近似设置下，包括投影与子空间正则化变体，为收敛性与加速性提供理论保证。

提出的方法

• 通过参数关系 $ \lambda = \frac{c}{c+1} $，形式化近似迭代 $ x_{k+1} = P^{(c)}x_k $ 与TD(λ)更新之间的等价性，从数学上建立两种方法的联系。
• 提出一种新颖的外推方案，通过向TD(λ)迭代方向移动来加速近似算法，确保收敛速度的保证性提升。
• 应用伽辽金投影，通过将每个近似迭代投影到由基函数张成的低维子空间上，实现降维，从而支持可扩展计算。
• 基于连续线性化，提出适用于非线性不动点问题的近似类算法，其形式类似于策略迭代，支持基于TD的实现。
• 将框架扩展至前向-后向分裂与近似梯度方法，扩大其在复合优化问题中的适用范围。
• 利用基于模拟的方法求解近似的投影与子空间受限近似更新，借鉴近似动态规划中的技术。

实验结果

研究问题

• RQ1 如何利用时序差分学习的洞见来加速大规模线性系统所用的近似算法？
• RQ2 在不动点问题背景下，近似迭代与TD(λ)更新之间存在何种精确的数学关系？
• RQ3 能否通过外推至TD动态，在不增加计算成本的前提下提升近似方法的收敛速率？
• RQ4 如何将近似框架扩展至涉及压缩映射的非线性不动点问题？连续线性化在此过程中起什么作用？
• RQ5 在大规模问题中，强化学习中的基于模拟的近似技术在多大程度上可被整合进近似算法？

主要发现

• 近似算法 $ x_{k+1} = P^{(c)}x_k $ 在数学上等价于参数 $ \lambda = \frac{c}{c+1} $ 的TD(λ)更新，建立了优化方法与强化学习方法之间的直接联系。
• 向TD(λ)迭代方向进行外推，可保证提升近似算法的收敛速率，且额外计算成本仅限于标准近似步骤。
• 投影近似算法 $ x_{k+1} = \Pi P^{(c)}x_k $（其中 $ \Pi $ 将解投影到低维子空间）可通过基于模拟的方法实现，从而为大规模系统提供可扩展解法。
• 对于涉及压缩映射的非线性不动点问题，可通过连续线性化将近似框架扩展，从而得到具备收敛性保证的新算法。
• 近似与TD方法之间的联系可推广至前向-后向分裂与近似梯度方法，显著拓宽了其应用范围。
• 即使 $ I - A $ 可逆但 $ \sigma(A) = 1 $，近似方程 $ x = P^{(c)}x $ 依然有效且可通过模拟求解，保持方法的鲁棒性。