[论文解读] On the Bayesian Solution of Differential Equations

Junyang Wang, Jon Cockayne+1 more|arXiv (Cornell University)|May 18, 2018

Model Reduction and Neural Networks被引用 5

一句话总结

该论文提出了一种基础性的贝叶斯概率数值方法，用于求解常微分方程（ODEs），通过将李群对称性分析与变换解空间中的非参数回归相结合。利用可解李代数定义精确的信息算子，该方法实现了离散化不确定性严格且一致的传播，并在梯度评估次数增加时展现出后验收缩至真实解的特性。

ABSTRACT

The interpretation of numerical methods, such as finite difference methods for differential equations, as point estimators allows for formal statistical quantification of the error due to discretisation in the numerical context. Competing statistical paradigms can be considered and Bayesian probabilistic numerical methods (PNMs) are obtained when Bayesian statistical principles are deployed. Bayesian PNM are closed under composition, such that uncertainty due to different sources of discretisation can be jointly modelled and rigorously propagated. However, we argue that no strictly Bayesian PNM for the numerical solution of ordinary differential equations (ODEs) have yet been developed. To address this gap, we work at a foundational level, where a novel Bayesian PNM is proposed as a proof-of-concept. Our proposal is a synthesis of classical Lie group methods, to exploit the underlying structure of the gradient field, and non-parametric regression in a transformed solution space for the ODE. The procedure is presented in detail for first order ODEs and relies on a certain technical condition -- existence of a solvable Lie algebra -- being satisfied. Numerical illustrations are provided.

研究动机与目标

• 为求解常微分方程（ODEs）开发严格意义上的贝叶斯概率数值方法（PNMs）
• 构建一个正式的贝叶斯框架，以严格量化和传播离散化带来的不确定性
• 通过利用可解李代数使信息算子A精确，避免现有PNM方法中的不一致性
• 展示一种概念验证方法，保持与贝叶斯原则的一致性，同时尊重ODE的几何结构
• 为未来开发精确或合理近似的贝叶斯PNM方法提供基础

提出的方法

• 通过李群对称性将ODE变换为标准坐标（r, s），确保解位于一个明确定义的流形上
• 在变换变量s(r)上构建先验，形式为s(r) = log(r) + log(x_T)ζ(r)，其中ζ为单调且有界的函数，且满足ζ(y₀) = 0
• 采用López-Lopera等人（2017）的方法对ζ的先验进行建模，实现在变换空间中的非参数回归
• 将梯度场评估值f(x_i, y_i)映射到标准坐标系，并在此空间中通过贝叶斯更新计算后验
• 在原始(x, y)空间中重构解，确保所有后验样本均为有效函数（即在x上为单值）
• 该方法依赖于ODE向量场存在可解李代数，这保证了此类变换和精确信息算子的存在

实验结果

研究问题

• RQ1 能否为ODE开发一种严格意义上的贝叶斯PNM，同时尊重微分方程的底层几何结构？
• RQ2 如何定义一个精确的信息算子A，使得梯度评估值f(x_i, y_i)可被视为对真实解y†的有效观测？
• RQ3 李群对称性在构建一致且连贯的贝叶斯框架以求解ODE中起到什么作用？
• RQ4 如何构建先验分布，以确保解空间中良好定义性与函数一致性？
• RQ5 在贝叶斯框架中，能否通过多个数值运算的组合，一致地传播离散化带来的不确定性？

主要发现

• 所提方法通过利用李群对称性将问题变换至标准坐标系，实现了精确的信息算子，从而构建了针对ODE的贝叶斯PNM
• 该方法确保了在(x, y)平面上的所有后验样本均为明确定义的函数，避免了多值解的出现
• 随着梯度场评估次数n的增加，后验质量向真实解收缩，表现出频率学一致性
• 图4和图5的数值示例表明，随着n的增加，后验样本在(r, s)和(x, y)平面上均收敛至真实解
• 该方法为完全贝叶斯PNM提供了概念验证，克服了以往PNM中将f(x_i, y_i)视为解的直接观测所导致的不一致性问题
• 该方法仅适用于存在可解李代数的ODE，但该类方程包括Bluman和Anco（2002）研究的重要情形