[论文解读] On the Taylor Expansion of Value Functions

Anton Braverman, Itai Gurvich+1 more|arXiv (Cornell University)|Apr 13, 2018

Auction Theory and Applications参考文献 8被引用 5

一句话总结

该论文通过在值函数上应用二阶泰勒展开，提出了一种用于近似动态规划的新框架，将离散时间马尔可夫决策过程转化为连续空间的扩散近似（泰勒控制问题，TCP）。该方法通过基于偏微分方程（PDE）的界实现了性能保证，表明在光滑性和大初始状态条件下，次优性差距小于最优值的 $1-\alpha$ 分数，其中 $\alpha \in (0,1)$ 为贴现因子。

ABSTRACT

We introduce a framework for approximate dynamic programming that we apply to discrete time chains on $\mathbb{Z}_+^d$ with countable action sets. Our approach is grounded in the approximation of the (controlled) chain's generator by that of another Markov process. In simple terms, our approach stipulates applying a second-order Taylor expansion to the value function to replace the Bellman equation with one in continuous space and time where the transition matrix is reduced to its first and second moments. In some cases, the resulting equation (which we label {\bf TCP}) can be interpreted as corresponding to a Brownian control problem. When tractable, the TCP serves as a useful modeling tool. More generally, the TCP is a starting point for approximation algorithms. We develop bounds on the optimality gap---the sub-optimality introduced by using the control produced by the "Taylored" equation. These bounds can be viewed as a conceptual underpinning, analytical rather than relying on weak convergence arguments, for the good performance of controls derived from Brownian control problems. We prove that, under suitable conditions and for suitably "large" initial states, (i) the optimality gap is smaller than a $1-α$ fraction of the optimal value, where $α\in (0,1)$ is the discount factor, and (ii) the gap can be further expressed as the infinite horizon discounted value with a "lower-order" per period reward. Computationally, our framework leads to an "aggregation" approach with performance guarantees. While the guarantees are grounded in PDE theory, the practical use of this approach requires no knowledge of that theory.

研究动机与目标

• 通过为高维离散时间马尔可夫链开发一种可计算的近似框架，解决动态规划中的维数灾难问题。
• 通过将布朗运动控制问题与实际动态规划相连接，基于解析性能界而非弱收敛性，实现其在实际中的应用。
• 利用 PDE 理论为布朗运动近似在最优控制中表现出的强经验性能提供概念性和分析性基础。
• 通过基于泰勒控制问题（TCP）框架的状态聚合，开发计算高效且具有性能保证的算法。
• 将扩散近似的方法应用范围从性能分析扩展到最优控制，同时提供对次优性的严格误差界。

提出的方法

• 在贝尔曼方程中对值函数应用二阶泰勒展开，用基于转移核一阶与二阶矩导出的连续空间漂移和扩散项，替代离散转移。
• 将泰勒控制问题（TCP）表述为一个由二阶偏微分方程控制的连续空间随机控制问题，其漂移项为 $\alpha\mu(x)$，扩散项为 $\alpha\sigma^2(x)$，并引入指数贴现。
• 利用经典 PDE 理论，推导原始 MDP 与 TCP 解之间次优性差距的界，依赖于近似值函数的三阶导数。
• 证明次优性差距由最大跳跃尺寸缩放的局部三阶导数项的贴现和所界定。
• 提出一种状态聚合策略，其中网格粗细根据局部曲率（通过 $D^2\widehat{V}$）自适应调整，从而在不损失精度的前提下提升计算效率。
• 将 TCP 作为近似算法的起点，其理论保证基于 PDE 的存在性与正则性理论，而非渐近极限。

实验结果

研究问题

• RQ1 在贝尔曼方程中对值函数进行二阶泰勒展开，是否能为高维 MDP 提供一种可计算且具有分析依据的近似？
• RQ2 使用 TCP 解而非真实 MDP 策略时，次优性（次优性差距）的理论界是什么？
• RQ3 如何在最优控制设置中严格证明布朗运动控制问题的性能，而不仅依赖启发式或渐近论证？
• RQ4 TCP 框架能否扩展至有限horizon 问题？需要进行哪些修改以保持误差控制？
• RQ5 如何通过基于局部值函数曲率的自适应状态聚合，在 TCP 框架中提升计算效率？

主要发现

• 在适当的光滑性和大初始状态条件下，基于 TCP 的控制的次优性差距严格小于最优值的 $1-\alpha$ 分数，其中 $\alpha \in (0,1)$ 为贴现因子。
• 次优性差距可表示为一个低阶每期收益的无限时域贴现值，明确关联于近似值函数的三阶导数。
• 误差界与 $\mathbb{E}_{x}^{\widehat{U}_{*}}\left[\sum_{t=0}^{\infty}\bar{\alpha}_{h}^{t}h^{2+\beta}[D^{2}\widehat{V}_{*}]_{\beta,X_{t}^{h}\pm h}^{*}\right]$ 成正比，显示出对局部曲率和步长的依赖。
• 该框架提供了基于 PDE 理论的性能保证，为扩散近似中常用的弱收敛论证提供了一种非渐近、分析性的替代方案。
• TCP 的表述可被解释为对应于一个布朗运动控制问题，为离散时间 MDP 中的扩散模型与最优控制之间建立了概念性联系。
• 基于局部二阶导数大小的自适应、非均匀网格细化可显著提升计算效率，同时保持误差界不变。