[论文解读] Stable Implementation of Probabilistic ODE Solvers

Nicholas Krämer, Philipp Hennig|arXiv (Cornell University)|Dec 18, 2020

Model Reduction and Neural Networks参考文献 36被引用 7

一句话总结

本文通过结合精确初始化、坐标变换预条件器以解耦稳定性与步长的关系，以及平方根滤波，提出了一种高阶概率常微分方程求解器的数值稳定实现。该方法使高阶概率解的稳定计算达到11阶，收敛速率与经典高阶Runge-Kutta方法相当，同时提供校准的不确定性量化。

ABSTRACT

Probabilistic solvers for ordinary differential equations (ODEs) provide efficient quantification of numerical uncertainty associated with simulation of dynamical systems. Their convergence rates have been established by a growing body of theoretical analysis. However, these algorithms suffer from numerical instability when run at high order or with small step-sizes -- that is, exactly in the regime in which they achieve the highest accuracy. The present work proposes and examines a solution to this problem. It involves three components: accurate initialisation, a coordinate change preconditioner that makes numerical stability concerns step-size-independent, and square-root implementation. Using all three techniques enables numerical computation of probabilistic solutions of ODEs with algorithms of order up to 11, as demonstrated on a set of challenging test problems. The resulting rapid convergence is shown to be competitive to high-order, state-of-the-art, classical methods. As a consequence, a barrier between analysing probabilistic ODE solvers and applying them to interesting machine learning problems is effectively removed.

研究动机与目标

• 解决在小步长和高阶下，尽管具有强理论收敛保证，高阶概率常微分方程求解器仍出现数值不稳定性的问题。
• 通过消除数值稳定性障碍，实现高阶概率求解器在机器学习和科学计算中的实际部署。
• 开发一种稳定、高效且具备不确定性感知能力的数值积分框架，兼容贝叶斯状态估计和高斯-马尔可夫过程。
• 证明概率求解器可实现与经典高阶方法相当的收敛速率，同时保持不确定性量化能力。

提出的方法

• 该方法采用坐标变换预条件器，将状态空间变换为使数值稳定性与步长无关的形式。
• 通过精确初始化先验均值和协方差，防止高阶格式中早期出现数值发散。
• 在卡尔曼滤波器和平滑器中采用Cholesky分解的平方根实现，以保持数值稳定性并确保协方差的正定性。
• 算法结合泰勒模式自动微分进行雅可比矩阵计算，并采用Nordsieck型表示法实现高效的多步传播。
• 滤波和平滑步骤在预条件空间中重新表述，每次更新后通过反变换恢复至原始坐标，以保持可解释性。
• 全程使用QR分解以在矩阵分解过程中保持数值稳定性，特别是在信息更新和Joseph型平滑步骤中。

实验结果

研究问题

• RQ1 尽管在小步长下存在已知数值不稳定性，高阶概率常微分方程求解器是否能在高达11阶下实现稳定实现？
• RQ2 所提出的预条件化与平方根实现是否能消除高斯-马尔可夫过程回归中与步长相关的不稳定性？
• RQ3 该求解器是否能实现与经典高阶Runge-Kutta方法相当的收敛速率，同时提供校准的不确定性估计？
• RQ4 坐标变换预条件器在多大程度上实现了数值稳定性与步长选择的解耦？
• RQ5 精确初始化、预条件化与平方根滤波的结合，如何提升概率常微分方程求解器在刚性系统与混沌系统中的鲁棒性？

主要发现

• 所提出实现使高阶概率常微分方程解的稳定计算达到11阶，克服了高阶求解器实际应用中的主要障碍。
• 该方法在Lotka-Volterra问题、三体问题和刚性van der Pol问题上的实验表明，其收敛速率与经典高阶Runge-Kutta方法相当。
• 坐标变换预条件器成功实现了数值稳定性与步长的解耦，即使在极小步长下也能稳定运行。
• 平方根实现确保了后验协方差在整个积分过程中始终保持对称且半正定。
• 与标准实现相比，精确初始化、预条件化与平方根滤波的结合显著减少了舍入误差的累积，特别是在平滑步骤中。
• 所得概率求解器提供了反映全局误差的校准不确定性量化，适用于涉及神经ODE和反问题的机器学习流水线。