[论文解读] Probabilistic Linear Multistep Methods

Onur Teymur, Konstantinos C. Zygalakis+1 more|arXiv (Cornell University)|Oct 26, 2016

Gaussian Processes and Bayesian Inference被引用 14

一句话总结

本文通过高斯过程框架推导了亚当斯-巴什福斯法与亚当斯-穆尔顿法的随机版本，确保后验均值与确定性方法的解完全一致，且后验标准差等于局部截断误差。该方法在计算开销极小的情况下实现了高阶收敛，实现了不确定性量化，同时不损失精度或效率。

ABSTRACT

We present a derivation and theoretical investigation of the Adams-Bashforth and Adams-Moulton family of linear multistep methods for solving ordinary differential equations, starting from a Gaussian process (GP) framework. In the limit, this formulation coincides with the classical deterministic methods, which have been used as higher-order initial value problem solvers for over a century. Furthermore, the natural probabilistic framework provided by the GP formulation allows us to derive probabilistic versions of these methods, in the spirit of a number of other probabilistic ODE solvers presented in the recent literature. In contrast to higher-order Runge-Kutta methods, which require multiple intermediate function evaluations per step, Adams family methods make use of previous function evaluations, so that increased accuracy arising from a higher-order multistep approach comes at very little additional computational cost. We show that through a careful choice of covariance function for the GP, the posterior mean and standard deviation over the numerical solution can be made to exactly coincide with the value given by the deterministic method and its local truncation error respectively. We provide a rigorous proof of the convergence of these new methods, as well as an empirical investigation (up to fifth order) demonstrating their convergence rates in practice.

研究动机与目标

• 开发一种线性多步法的随机框架，使其继承经典确定性求解器的收敛性与稳定性特性。
• 通过在高斯过程先验下将数值误差建模为认知不确定性，实现对ODE解的不确定性量化。
• 将现有的随机数值方法扩展至高阶多步格式，以极小的额外函数评估代价提升精度。
• 严格证明所提随机积分器的收敛速率，并通过实验结果加以验证。
• 通过混沌与周期性动力系统应用，展示方法的实际效用。

提出的方法

• 将ODE的解建模为解轨迹上的高斯过程先验，并通过过去函数值的条件分布实现顺序构建。
• 对过去状态与函数值施加有限的移动窗口依赖结构，与s步亚当斯-巴什福斯/穆尔顿结构保持一致。
• 构建后验均值与方差，使得均值与确定性线性多步法完全一致，且标准差等于局部截断误差。
• 采用精心设计的协方差函数，确保随机后验与经典误差估计之间的精确对应。
• 推导出最高至五阶的一般形式随机积分器，实现在极低计算成本下的高阶精度。
• 通过解与函数评估变量联合分布的嵌套分解方法，实现顺序推理。

实验结果

研究问题

• RQ1 能否从随机高斯过程框架中推导出亚当斯-巴什福斯与亚当斯-穆尔顿家族的线性多步法？
• RQ2 所提随机积分器的后验均值是否与对应确定性线性多步法的解完全一致？
• RQ3 是否可使后验标准差精确对应于确定性方法的局部截断误差？
• RQ4 所提随机多步法的理论收敛速率为何？
• RQ5 在混沌与周期性ODE上，所提随机积分器的实际表现如何，特别是在误差分布与路径发散方面？

主要发现

• 所提随机积分器的后验均值与对应确定性亚当斯-巴什福斯或亚当斯-穆尔顿法的解完全一致。
• 每一步的后验标准差等于确定性方法的局部截断误差，提供了合理的不确定性估计。
• 该方法实现了与经典确定性格式相当的收敛速率，实验结果在Lotka-Volterra模型中验证了1至5阶的收敛阶。
• 在Chua电路中，更高阶的随机积分器（s=3, s=5）相比s=1显著延迟了数值路径发散的出现，且计算时间无显著增加。
• 二步与三步随机积分器的误差近似对称分布于零附近，表明其在反问题中具有潜在的偏差降低能力。
• 该框架自然地将经典多步法扩展至随机数值范式，在保持可解释性的同时增加了不确定性量化能力。