[论文解读] Polynomial time algorithm for optimal stopping with fixed accuracy

David A. Goldberg, Yilun Chen|arXiv (Cornell University)|Jul 6, 2018

Stochastic processes and financial applications被引用 4

一句话总结

该论文提出了一种新颖的多项式时间算法，用于高维、非马尔可夫设置下的最优停止问题，借助受网络流启发的纯对偶方法，将最优值表示为递归定义的下确界之无穷级数。该方法仅使用 $k$ 层嵌套即可保证 $rac{1}{k}$ 的近似误差，计算复杂度和样本复杂度在时间范围 $T$ 上为多项式，且与维度无关，运行时间和精度之间的权衡由参数 $ heta$ 控制。该方法为数据驱动，仅需样本路径模拟，无需对底层分布或基函数的先验知识。

ABSTRACT

The problem of high-dimensional path-dependent optimal stopping (OS) is important to multiple academic communities and applications. Modern OS tasks often have a large number of decision epochs, and complicated non-Markovian dynamics, making them especially challenging. Standard approaches, often relying on ADP, duality, deep learning and other heuristics, have shown strong empirical performance, yet have limited rigorous guarantees (which may scale exponentially in the problem parameters and/or require previous knowledge of basis functions or additional continuity assumptions). Although past work has placed these problems in the framework of computational complexity and polynomial-time approximability, those analyses were limited to simple one-dimensional problems. For long-horizon complex OS problems, is a polynomial time solution even theoretically possible? We prove that given access to an efficient simulator of the underlying information process, and fixed accuracy epsilon, there exists an algorithm that returns an epsilon-optimal solution (both stopping policies and approximate optimal values) with computational complexity scaling polynomially in the time horizon and underlying dimension. Like the first polynomial-time (approximation) algorithms for several other well-studied problems, our theoretical guarantees are polynomial yet impractical. Our approach is based on a novel expansion for the optimal value which may be of independent interest.

研究动机与目标

• 解决高维路径相关期权定价和最优停止问题中的维度灾难问题。
• 开发一种具有严格性能保证的方法，避免对良好基函数或深度嵌套条件期望的依赖。
• 在高维、非马尔可夫设置下，实现近似精度与计算复杂度之间的合理权衡。
• 提供一种仅需底层过程样本路径模拟的、数据驱动的算法，无需对底层分布的先验知识。
• 在任意固定精度 $ heta$ 下，实现时间范围 $T$ 上的多项式时间复杂度，且与问题维度无关。

提出的方法

• 该方法引入一种受网络流对偶启发的纯对偶公式化，将最优停止问题转化为对偶表示。
• 最优值被表达为一个无穷级数，其中每一项是递归定义的下确界的期望，前 $k$ 项仅需 $k$ 层嵌套。
• 将级数截断至前 $k$ 项可获得 $rac{1}{k}$ 的归一化误差，从而实现精度与计算深度之间的系统性权衡。
• 算法使用随机抽样来估计级数的项，其复杂度由控制性能保证的参数 $ heta$ 所调控。
• 通过直接使用对偶表示，避免了对深度嵌套条件期望的近似，从而确保理论保证。
• 该方法完全为数据驱动，仅需能够模拟底层随机过程（可能基于部分路径条件），无需基函数选择或分布假设。

实验结果

研究问题

• RQ1 能否设计一种高维最优停止问题的多项式时间算法，且具有与维度无关的可证明误差界？
• RQ2 如何在不依赖基函数或嵌套条件期望的情况下，实现最优停止问题中近似精度与计算复杂度之间的权衡？
• RQ3 受网络流启发的对偶公式化能否为非马尔可夫设置下的最优停止值提供一种可计算且理论基础坚实的表示？
• RQ4 是否能仅通过 $k$ 层嵌套实现 $rac{1}{k}$ 的保证误差，且该方法在时间范围 $T$ 上具有多项式可扩展性？
• RQ5 该方法能否仅通过样本路径模拟实现，而无需对底层分布或结构的先验知识？

主要发现

• 当在前 $k$ 项截断无穷级数时，该算法可实现 $rac{1}{k}$ 的归一化误差，且每一项仅需 $k$ 层嵌套。
• 计算复杂度和样本复杂度在时间范围 $T$ 和精度参数 $ heta$ 的倒数上为多项式，且对问题维度具有有效独立性。
• 该方法的运行时间和样本复杂度受 $ heta$ 控制，上界为 $ heta$ 的多项式函数：$ heta$ 固定时，复杂度仍为多项式。具体上界为 $ heta$ 的多项式函数：$ heta$ 固定时，复杂度仍为多项式。具体上界为 $\exp\big{(}10^{20}\gamma_0^9\theta^{-6}\big{)} \times T^{10^8\gamma_0^{9/2}\theta^{-3}} \times \big{(}1 + \log(1/\delta)\big{)}^{10^8\gamma_0^{9/2}\theta^{-3}}$，在 $ heta$ 固定时保持为多项式。
• 该方法避免了对基函数或深度嵌套条件期望近似的需要，而这些是以往方法中的常见瓶颈。
• 该算法为数据驱动，仅需能够模拟底层随机过程（包括条件路径），无需对分布的先验知识。
• 该方法为高维、非马尔可夫设置下的最优停止问题提供了多项式时间近似方案（PTAS），在精度和复杂度方面均具有理论保证。