[论文解读] Parameter and Uncertainty Estimation for Dynamical Systems Using Surrogate Stochastic Processes

Matthias Chung, Mickaël Binois+4 more|arXiv (Cornell University)|Feb 2, 2018

Advanced Multi-Objective Optimization Algorithms参考文献 30被引用 3

一句话总结

该论文提出了一种新颖的贝叶斯框架，用于动态系统中的参数与不确定性估计。首先将代理随机过程拟合到观测数据上，然后利用该过程的样本作为‘代理数据’进行标准点估计。该方法实现了稳健、可并行化的推断，并具备内置正则化能力，能够处理复杂数据特征（如右删失和异方差性），并生成聚焦的后验分布，而无需依赖MCMC。

ABSTRACT

Inference on unknown quantities in dynamical systems via observational data is essential for providing meaningful insight, furnishing accurate predictions, enabling robust control, and establishing appropriate designs for future experiments. Merging mathematical theory with empirical measurements in a statistically coherent way is critical and challenges abound, e.g.,: ill-posedness of the parameter estimation problem, proper regularization and incorporation of prior knowledge, and computational limitations on full uncertainty qualification. To address these issues, we propose a new method for learning parameterized dynamical systems from data. In many ways, our proposal turns the canonical framework on its head. We first fit a surrogate stochastic process to observational data, enforcing prior knowledge (e.g., smoothness), and coping with challenging data features like heteroskedasticity, heavy tails and censoring. Then, samples of the stochastic process are used as "surrogate data" and point estimates are computed via ordinary point estimation methods in a modular fashion. An attractive feature of this approach is that it is fully Bayesian and simultaneously parallelizable. We demonstrate the advantages of our new approach on a predator prey simulation study and on a real world application involving within-host influenza virus infection data paired with a viral kinetic model.

研究动机与目标

• 解决由于数据噪声、右删失或异方差性导致的动态系统参数估计病态问题。
• 通过实现可轻松并行化的计算，克服基于MCMC的常微分方程模型贝叶斯推断中的计算瓶颈。
• 通过核函数设计与约束采样，将先验知识（如光滑性、单调性）直接整合到代理过程中，以提升估计的稳定性和可解释性。
• 在大规模或中等规模数据场景下，实现完整的不确定性量化，同时避免MCMC的串行依赖性和高成本。
• 在具有检测限和复杂动力学特征的真实世界流感数据的病毒动力学模型上，验证该方法的有效性。

提出的方法

• 将高斯过程（或其他随机过程）拟合到观测数据上，通过核函数设计与约束采样，强制施加光滑性与单调性等先验知识。
• 从代理过程的后验预测分布中生成多个样本路径，构建合成的‘代理数据’集。
• 对每组代理数据使用标准最小二乘法或点估计方法拟合动力学模型，将其视为独立观测。
• 汇总所有代理样本的参数估计结果，形成模型参数的后验分布，从而实现完整的不确定性量化。
• 在将样本传递至模型拟合阶段前，通过拒绝采样对代理过程实现进行约束（如单调性）以确保物理合理性。
• 利用该方法的模块化结构，实现对所有代理样本的参数估计完全并行化，避免MCMC的串行依赖。

实验结果

研究问题

• RQ1 是否可以利用代理随机过程将病态的动态系统推断问题转化为良好定义的、正则化的估计问题？
• RQ2 如何在代理过程中自然地编码先验知识（如光滑性、单调性），以提升参数估计的稳定性？
• RQ3 该方法在真实生物数据中处理复杂数据特征（如右删失、异方差性、重尾误差）方面的能力如何？
• RQ4 与基于MCMC的贝叶斯校准相比，该方法是否实现了相当或更优的不确定性量化，同时具备完全可并行化特性？
• RQ5 在已知生物约束（如病毒清除）的右删失数据场景中，该代理过程方法是否优于标准插补或截断策略？

主要发现

• 代理过程方法成功生成了符合生物学约束的参数估计结果，例如病毒载量的单调下降，而标准删失方法则违反了此类约束。
• 该方法生成了聚焦的参数后验分布，特别显示出清除率（c）与感染率（ρ）之间存在强烈相关性，与先前的生物学发现一致。
• 通过在代理过程实现中采用拒绝采样强制单调性，该方法避免了暗示病毒清除延迟于观测数据之外的非物理轨迹。
• 通过用代理数据上的并行确定性优化替代迭代的后验探索，该方法避免了MCMC的立方级计算成本。
• 该方法对检测限等数据缺陷表现出鲁棒性，相比朴素插补或截断策略，生成了更准确且更符合生物学意义的模型拟合结果。
• 该框架实现了完整的贝叶斯不确定性量化，而无需依赖MCMC，为大规模或复杂动态系统提供了一种可扩展的替代方案。