[论文解读] pyPESTO: A modular and scalable tool for parameter estimation for dynamic models

Yannik Schälte, Fabian Fröhlich+15 more|arXiv (Cornell University)|May 2, 2023

Gene Regulatory Network AnalysisBiochemistry, Genetics and Molecular Biology参考文献 19被引用 3

一句话总结

pyPESTO 是一个模块化、开源的 Python 框架，用于在动态模型中进行可扩展的参数估计，特别适用于常微分方程（ODE）系统。它通过标准化的处理流程统一了优化、不确定性量化和可视化，支持局部和全局求解器、贝叶斯与频率学派推断，并与 AMICI 和 PyMC 等流行工具集成。

ABSTRACT

Mechanistic models are important tools to describe and understand biological processes. However, they typically rely on unknown parameters, the estimation of which can be challenging for large and complex systems. We present pyPESTO, a modular framework for systematic parameter estimation, with scalable algorithms for optimization and uncertainty quantification. While tailored to ordinary differential equation problems, pyPESTO is broadly applicable to black-box parameter estimation problems. Besides own implementations, it provides a unified interface to various popular simulation and inference methods. pyPESTO is implemented in Python, open-source under a 3-Clause BSD license. Code and documentation are available on GitHub (https://github.com/icb-dcm/pypesto).

研究动机与目标

• 解决在复杂动态生物模型中估计未知参数的挑战，特别是那些由常微分方程（ODE）所描述的模型。
• 提供一个统一且可扩展的框架，支持系统生物学中参数估计的多样化推断方法。
• 通过模块化设计、并行计算以及与成熟仿真和推断工具的互操作性，实现可扩展且高效的参数估计。
• 支持频率学派和贝叶斯不确定性量化方法，包括轮廓似然和马尔可夫链蒙特卡洛采样。
• 通过一致且用户友好的接口，简化从问题定义到结果分析的整个参数估计工作流。

提出的方法

• 使用 PEtab 标准来指定参数估计问题，实现与现有模型仓库和工具的互操作性。
• 为多个优化库（例如，Ipopt、Dlib、SciPy、NLopt、PySwarms、pycma）提供统一接口，并支持局部和全局优化策略。
• 通过用户定义的函数或自适应有限差分法实现导数计算，提高收敛速度和精度。
• 实现分层优化以处理相对数据和噪声参数，增强在高维问题中的鲁棒性。
• 集成贝叶斯采样方法（自适应 Metropolis、自适应并行退火），并通过与 Emcee、PyMC 和 Dynesty 的接口支持基于梯度的采样器。
• 提供基于 HDF5 的结果存储和可视化工具，实现高效的数据处理和可重现性。

实验结果

研究问题

• RQ1 模块化且可扩展的框架在多大程度上能提升动态生物模型中参数估计的可重现性和可扩展性？
• RQ2 pyPESTO 的多起点全局化策略在解决系统生物学中常见的非凸、多模态参数估计问题时表现如何？
• RQ3 pyPESTO 能在多大程度上将多样化的优化和采样工具统一到一个单一、一致的接口中，用于基于 ODE 的参数估计？
• RQ4 pyPESTO 对频率学派（轮廓似然）和贝叶斯（轮廓后验）不确定性量化方法的支持，在多大程度上提升了模型的可靠性？
• RQ5 pyPESTO 在从桌面系统到高性能计算集群的不同计算基础设施上，其可扩展性表现如何？

主要发现

• pyPESTO 支持在广泛多样的动态模型中进行系统性参数估计，涵盖基于 ODE 和黑箱的参数估计问题。
• 该框架成功与 AMICI（用于 ODE 仿真）和 PyMC（用于贝叶斯推断）等成熟工具集成，显著提升了可用性和互操作性。
• pyPESTO 的多起点全局化策略能有效应对复杂、多模态的似然景观，提高收敛至全局最优解的能力。
• 通过轮廓似然和 MCMC 采样实现的频率学派与贝叶斯不确定性量化方法，为估计参数提供了稳健的置信度评估。
• 基于 HDF5 的结果存储机制实现了大规模估计结果的高效、紧凑且可重现的处理。
• pyPESTO 已被至少 12 篇学术论文采用，并由来自三个机构的核心团队持续维护，表明其具有强大的研究实用性与社区采纳度。