[论文解读] Piecewise-Deterministic Markov Chain Monte Carlo

Paul Vanetti, Alexandre Bouchard‐Côté+2 more|arXiv (Cornell University)|Jul 17, 2017

Markov Chains and Monte Carlo Methods参考文献 33被引用 68

一句话总结

本文提出了基于精确哈密顿流的全新连续时间 PDMC 方法，以及利用目标结构同时保持不变分布的非可逆离散时间方案。

ABSTRACT

A novel class of non-reversible Markov chain Monte Carlo schemes relying on continuous-time piecewise-deterministic Markov Processes has recently emerged. In these algorithms, the state of the Markov process evolves according to a deterministic dynamics which is modified using a Markov transition kernel at random event times. These methods enjoy remarkable features including the ability to update only a subset of the state components while other components implicitly keep evolving and the ability to use an unbiased estimate of the gradient of the log-target while preserving the target as invariant distribution. However, they also suffer from important limitations. The deterministic dynamics used so far do not exploit the structure of the target. Moreover, exact simulation of the event times is feasible for an important yet restricted class of problems and, even when it is, it is application specific. This limits the applicability of these techniques and prevents the development of a generic software implementation of them. We introduce novel MCMC methods addressing these shortcomings. In particular, we introduce novel continuous-time algorithms relying on exact Hamiltonian flows and novel non-reversible discrete-time algorithms which can exploit complex dynamics such as approximate Hamiltonian dynamics arising from symplectic integrators while preserving the attractive features of continuous-time algorithms. We demonstrate the performance of these schemes on a variety of applications.

研究动机与目标

• 解决现有 PDMC 方法的局限性，包括未充分利用目标结构以及受限的精确事件时间仿真。
• 开发具有精确哈密顿流的新的连续时间算法。
• 开发利用复杂动力学（如近似哈密顿动力学）的非可逆离散时间算法。
• 在实现可实践、可扩展的跨应用实现的同时保持目标分布。

提出的方法

• 提出依赖于精确哈密顿流的新型连续时间 PDMC 算法。
• 引入能够利用来自辛积分器的近似哈密顿动力学的新型非可逆离散时间 PDMC 方案。
• 确保提出的动力学下目标分布的不变性。
• 允许只更新状态分量的子集，而其他分量隐式演化。
• 在不破坏平稳性的前提下，允许使用无偏梯度估计。

实验结果

研究问题

• RQ1 PDMC 方法如何更有效地利用目标分布的结构？
• RQ2 在保持不变目标的前提下，是否可以将精确哈密顿流整合到 PDMC 中？
• RQ3 离散时间非可逆 PDMC 方案是否能利用来自辛积分器的近似哈密顿动力学并保持正确性？
• RQ4 这些方法是否可以推广到超出可求解精确事件时间的更广泛问题类别？
• RQ5 与现有 PDMC 方法相比，所提方法在各种应用中的表现如何？

主要发现

• 引入使用精确哈密顿流的连续时间 PDMC 方法。
• 提出能够容纳像近似哈密顿动力学这样的复杂动力学的非可逆离散时间 PDMC 方案。
• 方法可以仅更新部分状态分量，而其他分量继续演化。
• 在保持目标分布的同时，能够以无偏梯度估计实现可维护性。
• 在多种应用中展示了性能改进（如作者所述）。