[论文解读] Schrödinger Bridge Samplers

Espen Bernton, Jeremy Heng+2 more|arXiv (Cornell University)|Dec 31, 2019

Markov Chains and Monte Carlo Methods参考文献 50被引用 11

一句话总结

本文提出了一种新型的顺序蒙特卡洛方法——薛定谔桥采样器（Schrödinger Bridge Samplers, SSB），该方法通过基于回归的策略学习对迭代比例拟合（IPF）近似进行迭代，以逐步调整参考马尔可夫过程的转移核，从而最小化与目标分布之间的KL散度。与标准SMC相比，该方法在归一化常数估计中显著降低了方差，尤其在高维及非共轭设置下，方差可降低数个数量级。

ABSTRACT

Consider a reference Markov process with initial distribution $π_{0}$ and transition kernels $\{M_{t}\}_{t\in[1:T]}$, for some $T\in\mathbb{N}$. Assume that you are given distribution $π_{T}$, which is not equal to the marginal distribution of the reference process at time $T$. In this scenario, Schrödinger addressed the problem of identifying the Markov process with initial distribution $π_{0}$ and terminal distribution equal to $π_{T}$ which is the closest to the reference process in terms of Kullback--Leibler divergence. This special case of the so-called Schrödinger bridge problem can be solved using iterative proportional fitting, also known as the Sinkhorn algorithm. We leverage these ideas to develop novel Monte Carlo schemes, termed Schrödinger bridge samplers, to approximate a target distribution $π$ on $\mathbb{R}^{d}$ and to estimate its normalizing constant. This is achieved by iteratively modifying the transition kernels of the reference Markov chain to obtain a process whose marginal distribution at time $T$ becomes closer to $π_T = π$, via regression-based approximations of the corresponding iterative proportional fitting recursion. We report preliminary experiments and make connections with other problems arising in the optimal transport, optimal control and physics literatures.

研究动机与目标

• 解决标准SMC和AIS方法在参考过程的终端边际分布与目标分布显著不同时所面临的局限性，此类情况常导致重要性权重方差过高。
• 通过仅修改转移核而非初始分布，突破受控SMC采样器中的共轭性约束，从而提升方法的适用范围。
• 针对连续状态空间，开发一种可扩展的、近似的IPF方案，利用基于回归的策略学习避免在高维下精确计算IPF步骤。
• 通过迭代优化转移核，使过程的终端分布与目标分布对齐，借助薛定谔桥原理，提升归一化常数估计的效率。
• 构建一个统一框架，将最优传输、控制理论与蒙特卡洛采样整合于薛定谔桥问题的视角之下。

提出的方法

• 将问题形式化为多边际薛定谔桥问题，目标是寻找一个马尔可夫过程，其初始分布为π₀，终端分布π_T = π，且与参考过程在KL散度意义下尽可能接近。
• 通过基于回归的策略学习近似IPF递推关系，用函数逼近替代难以计算的核更新步骤。
• 采用受Heng等人（2017）启发的近似动态规划（ADP）方法，在每个时间步估计策略（即转移核的修改），实现对过程的迭代优化。
• 通过欧拉-丸吉马（Euler–Maruyama）对连续时间薛定谔桥动力学进行离散化，推导出适用于扩散过程的实际算法。
• 在IPF迭代中应用热启动（warm starts）与早停策略，并通过MALA核进行粒子刷新，以维持提议质量。
• 利用薛定谔桥与最优控制之间的等价性，将核更新视为策略优化，实现提议机制的端到端优化。

实验结果

研究问题

• RQ1 在连续状态空间中，能否通过基于回归的策略学习有效近似IPF，以求解薛定谔桥问题？
• RQ2 与标准SMC和受控SMC相比，所提出的薛定谔桥采样器在归一化常数估计的方差降低方面表现如何？
• RQ3 当初始分布或转移核与策略类不共轭时，该方法的适用范围有多大？
• RQ4 在连续时间桥问题的ADP算法中，使用欧拉-丸吉马近似的影响是什么？
• RQ5 该方法是否可扩展至使用神经网络等灵活函数类，或通过端到端可微IPF展开实现进一步性能提升？

主要发现

• 在线性二次高斯设置下，SSB采样器将对数归一化常数估计器的RMSE降低了数个数量级，相比标准SMC。
• 在贝叶斯逻辑回归任务中，SSB采样器得到的平均对数归一化常数估计为-126.47，标准差为0.034，而标准SMC的结果为-128.11 ± 1.47，表明方差显著降低。
• 当两种方法运行相同实际时间时，SSB采样器在估计器效率方面优于标准SMC，体现出实际计算优势。
• ADP算法中对欧拉-丸吉马近似的使用提供了与精确解相当的合理替代方案，表明其在实际实现中的鲁棒性。
• 即使策略类（如高斯函数）不包含真实最优策略，该方法仍保持有效性，表明对模型误设具有鲁棒性。
• 在IPF迭代中使用热启动与早停策略，提升了收敛速度与计算效率，且未损失准确性。