[论文解读] Solving high-dimensional parabolic PDEs using the tensor train format

Lorenz Richter, Leon Sallandt+1 more|arXiv (Cornell University)|Feb 23, 2021

Tensor decomposition and applications参考文献 59被引用 8

一句话总结

本文通过利用后向随机微分方程（BSDE）公式化和TT格式中的回归，提出了一种基于张量列车（TT）的方法来求解高维抛物型PDE。该方法利用低秩结构实现高效计算，在显式 $L^2$-投影格式下表现出优越的精度和速度，显著优于基于神经网络的方法，尤其在存在低秩结构时。

ABSTRACT

High-dimensional partial differential equations (PDEs) are ubiquitous in economics, science and engineering. However, their numerical treatment poses formidable challenges since traditional grid-based methods tend to be frustrated by the curse of dimensionality. In this paper, we argue that tensor trains provide an appealing approximation framework for parabolic PDEs: the combination of reformulations in terms of backward stochastic differential equations and regression-type methods in the tensor format holds the promise of leveraging latent low-rank structures enabling both compression and efficient computation. Following this paradigm, we develop novel iterative schemes, involving either explicit and fast or implicit and accurate updates. We demonstrate in a number of examples that our methods achieve a favorable trade-off between accuracy and computational efficiency in comparison with state-of-the-art neural network based approaches.

研究动机与目标

• 解决基于网格或神经网络方法求解高维抛物型PDE时面临的维数灾难问题。
• 通过利用解中固有的低秩张量结构，开发高效的高维PDE数值求解器。
• 提出一种基于张量列车的神经网络替代方法，实现更快的收敛速度和更低的计算成本，同时保持高精度。
• 通过与基准PDE问题的最先进神经网络方法对比，证明TT求解器的有效性。

提出的方法

• 将抛物型PDE重新表述为后向随机微分方程（BSDE），以支持迭代向后数值格式。
• 在张量列车格式中使用基于 $L^2$-投影的回归，通过交替最小二乘法实现显式、快速的更新。
• 实现一种隐式嵌套迭代格式，以提高精度，代价是计算负载更高。
• 利用张量列车固有的正交性和低秩结构，实现高效的导数计算与优化。
• 将初始/终值条件直接嵌入TT函数空间，并使用多项式试探函数进行逼近。
• 应用交替最小二乘法（ALS）求解TT格式中的回归问题，实现显式参数更新。

实验结果

研究问题

• RQ1 张量列车能否有效捕捉高维抛物型PDE解中的低秩结构，从而实现高效计算？
• RQ2 TT求解器在精度和计算时间方面与基于神经网络的方法相比表现如何？
• RQ3 显式 $L^2$-投影TT方法在收敛速度和精度方面，相较于隐式或神经网络方法有多大优势？
• RQ4 当底层解在维度间表现出非线性或复杂依赖关系时，TT格式是否仍能保持精度？
• RQ5 TT方法能否推广至具有已知BSDE表示的其他类型PDE，而不仅限于抛物型方程？

主要发现

• 在20维HJB问题上，显式 $L^2$-投影TT方法的计算时间为15秒，比对应的神经网络方法快超过1,000倍（16,991秒）。
• 在20维HJB方程中，TT显式方法的相对误差为 $2.82 \times 10^{-3}$，优于神经网络的 $4.24 \times 10^{-3}$。
• 在100维CIR模型中，TT隐式方法的PDE损失为 $5.06 \times 10^{-4}$，显著低于神经网络的 $7.57 \times 10^{-3}$。
• 在 $d=100$ 的CIR模型中，显式TT方法在197秒内完成求解，而神经网络耗时9,573秒，实现了50倍的加速。
• 在CIR模型中，多项式次数超过1未带来性能提升，TT秩为1且次数为1时已达到最优PDE损失 $7.80 \times 10^{-4}$。
• TT方法在多个测试案例中表现出鲁棒性和一致性，包括简单问题和真实金融模型，且几乎无需调参。