[论文解读] Weakly Time-Coupled Approximation of Markov Decision Processes

Negar Soheili, Selvaprabu Nadarajah+1 more|arXiv (Cornell University)|Mar 13, 2026

Risk and Portfolio Optimization被引用 0

一句话总结

该论文提出一种用于有限-horizon MDP 的弱时序耦合近似（WTCA），它放宽时间耦合，使得与 horizon-length 无关的计算成为可能，并在相同预算下提供比 ALP 更紧的界限，同时在与 PO 的比较中具备竞争力。

ABSTRACT

Finite-horizon Markov decision processes (MDPs) with high-dimensional exogenous uncertainty and endogenous states arise in operations and finance, including the valuation and exercise of Bermudan and real options, but face a scalability barrier as computational complexity grows with the horizon. A common approximation represents the value function using basis functions, but methods for fitting weights treat cross-stage optimization differently. Least squares Monte Carlo (LSM) fits weights via backward recursion and regression, avoiding joint optimization but accumulating error over the horizon. Approximate linear programming (ALP) and pathwise optimization (PO) jointly fit weights to produce upper bounds, but temporal coupling causes computational complexity to grow with the horizon. We show this coupling is an artifact of the approximation architecture, and develop a weakly time-coupled approximation (WTCA) where cross-stage dependence is independent of horizon. For any fixed basis function set, the WTCA upper bound is tighter than that of ALP and looser than that of PO, and converges to the optimal policy value as the basis family expands. We extend parallel deterministic block coordinate descent to the stochastic MDP setting exploiting weak temporal coupling. Applied to WTCA, weak coupling yields computational complexity independent of the horizon. Within equal time budget, solving WTCA accommodates more exogenous samples or basis functions than PO, yielding tighter bounds despite PO being tighter for fixed samples and basis functions. On Bermudan option and ethanol production instances, WTCA produces tighter upper bounds than PO and LSM in every instance tested, with near-optimal policies at longer horizons.

研究动机与目标

• 为高维、有限-horizon MDP 及不可逆决策带来近似方法的动机。
• 分析现有方法（ALP 与 PO）中的时间耦合如何影响计算复杂度和界限质量。
• 引入 WTCA 以放宽跨阶段耦合，同时保留有用的上界属性。
• 开发并行随机块坐标下降算法以利用 WTCA 的弱耦合特性。
• 在伯姆丹选项与乙醇生产问题上展示 WTCA 相较 PO 与 LSM 的经验优势。

提出的方法

• 将带有内生态和外生态状态及基函数值近似的 MDP 形式化。
• 在统一的随机优化框架内将 ALP 与 PO 表述以定义时间耦合。
• 显示 PO 与 ALP 为完全时间耦合（κ(F)=T)，并通过用外源性期望替换对偶上确界来形成 WTCA。
• 将 WTCA 定义为阶段级贝尔曼偏差的和，且以期望惩罚保留局部耦合（κ=2）。
• 提出并行随机块坐标下降（PS-BCD），在并行中更新阶段性块以利用 WTCA 的弱耦合。
• 给出理论比较：WTCA 是 ALP 的放宽，且被 ALP 的上界界限，而 PO 对于固定基集仍可能更紧。

Figure 1: Convergence of upper and lower bounds for WTCA (left) and PO (right) in the instance with $\mathbf{T=36}$ , $\mathbf{N=8}$ , and $\mathbf{w^{I}=100}$ .

实验结果

研究问题

• RQ1 随着时间步长的增加，ALP 和 PO 的时间耦合如何影响计算复杂度？
• RQ2 我们是否可以设计一种在保持上界保证的同时使计算与 horizon 无关的 MDP 近似？
• RQ3 在实际计算预算下，WTCA 是否比 ALP 与 LSM 提供更紧的上界？
• RQ4 并行块坐标下降是否能高效求解 WTCA 而不显著丢失信息？
• RQ5 在实际不可逆决策问题上，WTCA 与 PO 在界限紧性和策略质量方面有何比较？

主要发现

• WTCA 产生的上界在固定基集下比 ALP 更紧但比 PO 稍松。
• 随着基函数集扩展，WTCA 收敛到最优值。
• PS-BCD 在与 horizon-length 无关的计算下求解 WTCA，允许在固定预算内获得更多样本或基函数。
• 在相同时间预算下，WTCA 可因更好地并行利用而在界限紧性方面优于 PO，同时保持相近的策略质量。
• 在测试的伯姆丹选项和乙醇生产实例中，WTCA 与 PO 在上界紧性和策略质量方面均优于 LSM。
• 实证结果表明，在每个测试实例中 WTCA 提供比 PO 与 LSM 更紧的界限，且在较长 horizon 处 WTCA 能得到接近最优的策略。

Figure 2: Endogenous state transitions in ethanol production (Guthrie 2009 , Yang et al. 2024 , 2025 ) .