[论文解读] Simulating Diffusion Bridges with Score Matching

Jeremy Heng, Valentin De Bortoli+2 more|arXiv (Cornell University)|Nov 14, 2021

Statistical Methods and Inference参考文献 42被引用 5

一句话总结

本文提出了一种新颖的基于得分的扩散桥模拟方法，利用时间反演扩散过程与基于得分匹配的变分推断，近似处理扩散桥不可计算的时间反演。该方法在多种模型中实现了高效、可扩展的条件扩散模拟，包括Ornstein–Uhlenbeck过程、利率模型以及细胞分化过程，在高维与复杂设定下表现出良好的准确性和鲁棒性。

ABSTRACT

We consider the problem of simulating diffusion bridges, which are diffusion processes that are conditioned to initialize and terminate at two given states. The simulation of diffusion bridges has applications in diverse scientific fields and plays a crucial role in the statistical inference of discretely-observed diffusions. This is known to be a challenging problem that has received much attention in the last two decades. This article contributes to this rich body of literature by presenting a new avenue to obtain diffusion bridge approximations. Our approach is based on a backward time representation of a diffusion bridge, which may be simulated if one can time-reverse the unconditioned diffusion. We introduce a variational formulation to learn this time-reversal with function approximation and rely on a score matching method to circumvent intractability. Another iteration of our proposed methodology approximates the Doob's $h$-transform defining the forward time representation of a diffusion bridge. We discuss algorithmic considerations and extensions, and present numerical results on an Ornstein--Uhlenbeck process, a model from financial econometrics for interest rates, and a model from genetics for cell differentiation and development to illustrate the effectiveness of our approach.

研究动机与目标

• 为解决长期存在的扩散桥模拟挑战——即条件扩散过程在特定起点与终点下的模拟，由于转移密度不可计算且高维复杂性导致困难。
• 开发一种可扩展且灵活的方法，用于近似扩散桥模拟所需的时序反演过程，避免依赖解析解或计算成本高昂的PDE求解器。
• 利用得分匹配与神经网络学习时序反演的漂移项，实现端到端可微分且可微分的Doob's h变换近似。
• 为离散观测的扩散模型提供一种实用且算法高效的统计推断框架，尤其适用于金融计量学与系统生物学等应用。

提出的方法

• 该方法采用扩散桥的反向时间表示，通过变分推断学习其漂移项来模拟时序反演过程。
• 将时序反演学习建模为变分问题，通过最小化得分匹配损失来估计时序反演过程对数密度的梯度。
• 得分匹配目标函数避免了显式密度估计，转而依赖转移密度的得分，从而可利用前向过程的样本路径进行训练。
• 神经网络参数化时序反演漂移项，采用随机梯度优化在采样路径上最小化变分损失。
• 该方法扩展至近似前向时间中的Doob's h变换，使其可应用于重要性采样与Metropolis–Hastings算法。
• 框架采用多层感知机与正弦位置编码实现，使用带动量的Adam进行优化，并在多种随机过程中进行了验证。

实验结果

研究问题

• RQ1 能否在不进行显式密度估计的情况下，利用得分匹配学习扩散桥的时序反演漂移？
• RQ2 在高维与非线性设定下，基于神经网络的时序反演过程变分近似与真实扩散桥分布的匹配程度如何？
• RQ3 与现有方法（如布朗运动桥或辅助过程近似）相比，所提方法在路径准确性与采样效率方面表现如何？
• RQ4 该方法是否可推广至多种随机过程，包括转移密度不可计算的模型（如利率模型与细胞分化模型）？
• RQ5 在实际模拟任务中，该方法在时间跨度与维度增加时的可扩展性如何？

主要发现

• 该方法在所有测试模型（Ornstein–Uhlenbeck过程、利率模型、细胞分化模型）中均实现了准确的扩散桥模拟，对不同时间跨度与维度均表现出强鲁棒性。
• 在Ornstein–Uhlenbeck过程中，学习到的时序反演漂移与解析解高度一致，经500次优化迭代与δt = 0.02后实现收敛。
• 在利率模型中，该方法成功近似了复杂的转移密度对数梯度，使用1000次迭代与每次迭代1000条样本路径，结果稳定。
• 在细胞分化模型中，即使在T=16与σ²=1的条件下，方法仍保持高精度，使用2000次迭代与每次100条样本路径，显示出良好的可扩展性。
• 得分匹配的使用消除了显式密度评估的需求，使得在PDE求解器失效的高维设定下仍能实现高效训练与推断。
• 该框架实现了有效的重要性采样与Metropolis–Hastings校正，提升了路径提议质量并降低了下游推断任务中的拒绝率。