[论文解读] Probabilistic Solutions to Differential Equations and their Application to Riemannian Statistics

Philipp Hennig, Søren Hauberg|arXiv (Cornell University)|Jun 3, 2013

Morphological variations and asymmetry参考文献 19被引用 30

一句话总结

该论文提出了一种用于求解常微分方程（ODEs）的概率数值方法，返回解的联合高斯过程后验分布，从而在黎曼统计中实现不确定性量化。通过对此不确定性进行边缘化，该方法降低了对数值误差的敏感性，并在高维设置下相比最先进的求解器bvp5c实现了高达一个数量级的速度提升。

ABSTRACT

We study a probabilistic numerical method for the solution of both boundary and initial value problems that returns a joint Gaussian process posterior over the solution. Such methods have concrete value in the statistics on Riemannian manifolds, where non-analytic ordinary differential equations are involved in virtually all computations. The probabilistic formulation permits marginalising the uncertainty of the numerical solution such that statistics are less sensitive to inaccuracies. This leads to new Riemannian algorithms for mean value computations and principal geodesic analysis. Marginalisation also means results can be less precise than point estimates, enabling a noticeable speed-up over the state of the art. Our approach is an argument for a wider point that uncertainty caused by numerical calculations should be tracked throughout the pipeline of machine learning algorithms.

研究动机与目标

• 解决传统ODE求解器在黎曼统计中缺乏结构化误差估计的问题。
• 降低流形上统计计算对测地线解中数值不准确性的敏感性。
• 开发一种将ODE求解器中的不确定性视为统计流程一部分的数值方法。
• 证明通过边缘化实现可控不精确性后，概率求解器可以比确定性求解器更快。
• 为均值计算和主测地线分析等新黎曼算法提供内置不确定性传播功能。

提出的方法

• 该方法将ODE求解表述为贝叶斯推断问题，将向量场f的评估视为带噪声的观测值。
• 通过函数空间上的先验和基于观测到的f值的条件更新，构建解轨迹的联合高斯过程后验分布。
• 通过在适当协方差结构下将ODE嵌入概率框架，该求解器可同时处理初值问题（IVPs）和两点边值问题（BVPs）。
• 解的后验分布允许边缘化，从而降低数值误差对下游统计的影响。
• 该方法采用基于Karhunen-Loève型展开的概率配点法，以高效表示解空间。
• 该方法在MATLAB中实现，并应用于黎曼统计任务，包括测地线计算和主测地线分析。

实验结果

研究问题

• RQ1 具有结构化不确定性的概率ODE求解器能否提升黎曼统计中的统计鲁棒性？
• RQ2 对解的不确定性进行边缘化是否能降低测地线计算中对数值误差的敏感性？
• RQ3 尽管精度较低，概率求解器能否实现比确定性求解器（如bvp5c）更快的计算速度？
• RQ4 概率求解器的不确定性估计在测地线长度估计中是否能准确反映实际数值误差？
• RQ5 该概率方法在高维黎曼流形中的可扩展性如何？

主要发现

• 与Matlab的bvp5c求解器相比，该概率求解器在高维设置下实现了约一个数量级的运行时间减少。
• 概率求解器的不确定性估计准确反映了实际数值误差，经与bvp5c的点估计对比验证。
• 对于1000条测地线，概率求解器推断的曲线长度在bvp5c可靠估计的±2个标准差范围内，表明不确定性估计是校准良好的。
• 在50维的人体形状数据集中，该概率求解器在约10分钟内计算出主测地线，通过后验样本实现了不确定性的可视化。
• 该方法实现了主测地线的不确定性可视化，而这是确定性求解器无法实现的，如补充视频和图6所示。
• 该概率求解器的计算成本几乎不随曲线长度变化，而bvp5c的成本则随复杂度显著增加。