[论文解读] The NuZZ: Numerical ZigZag Sampling for General Models.

Simon L. Cotter, Thomas House+1 more|arXiv (Cornell University)|Mar 7, 2020

Markov Chains and Monte Carlo Methods参考文献 42被引用 4

一句话总结

NuZZ 算法是 ZigZag 采样器的一种数值变体，通过用数值积分和根求解替代解析梯度计算，实现了在一般统计模型中高效且无界约束的推断。与其它方法相比，它表现出更优的混合性能和更低的 Wasserstein 误差，在实际应用中，实证证据表明其性能优于哈密顿蒙特卡洛（HMC）和稀疏化 ZigZag。

ABSTRACT

We present the Numerical ZigZag (NuZZ) algorithm, a Piecewise Deterministic MCMC algorithm that is applicable to general statistical models, without the need for bounds on the gradient of the log posterior. This allows us to investigate: (i) how the ZigZag process behaves on some test problems with common challenging features; (ii) the performance of NuZZ compared to other numerical approaches to the ZigZag; (iii) the error between the target and sampled distributions as a function of computational effort for different MCMC algorithms including the NuZZ. Through a series of test problems we compare the mixing of the ZigZag process against other common methods. We present numerical evidence and an analytical argument that the Wasserstein distance between the target distribution and the invariant distribution of the NuZZ process is expected to exhibit asymptotically linearly dependence on the tolerances of both the numerical integration and root finding schemes used. Notably we present a real-life example which demonstrates that NuZZ can outperform not only the super-efficient version of the ZigZag process with thinning, but also well-established methods such as Hamiltonian Monte Carlo.

研究动机与目标

• 开发一种通用的 MCMC 方法，避免对后验日志梯度施加限制性边界。
• 研究 ZigZag 过程在具有常见统计特征的复杂测试问题上的行为表现。
• 从混合性能和计算效率角度，对比 NuZZ 与其他数值方法和成熟 MCMC 方法的性能表现。
• 分析目标分布与采样分布之间 Wasserstein 距离对数值容差的依赖关系。
• 在实际推断任务中，展示 NuZZ 的优越实用性。

提出的方法

• NuZZ 算法在 ZigZag 过程中用数值积分替代解析梯度计算，使该方法可应用于无显式梯度边界的模型。
• 它采用数值根求解方法确定连续时间马尔可夫过程中的事件发生时间，从而实现速度分量的动态切换。
• 该方法使用自适应时间步长方案进行数值积分与根求解，容差参数用于控制近似误差。
• 理论证明，当数值容差减小时，NuZZ 过程的不变分布会收敛至目标后验分布。
• 该算法保持了原始 ZigZag 的分段确定性结构，确保跳跃时间可高效模拟。
• 理论分析表明，目标分布与采样分布之间的 Wasserstein 距离与数值容差呈线性关系。

实验结果

研究问题

• RQ1 在具有非光滑或高维后验分布等挑战性特征的测试问题上，NuZZ 算法的性能如何？
• RQ2 数值积分与根求解中的容差与最终采样分布误差之间存在何种关系？
• RQ3 在多种模型中，NuZZ 的混合行为与哈密顿蒙特卡洛（HMC）和稀疏化 ZigZag 相比如何？
• RQ4 在实际应用中，NuZZ 是否能实现优于传统 MCMC 方法的计算效率？
• RQ5 目标分布与不变分布之间的 Wasserstein 距离随数值精度变化的理论缩放关系如何？

主要发现

• 目标分布与 NuZZ 过程不变分布之间的 Wasserstein 距离，对数值积分与根求解的容差表现出渐近线性依赖关系。
• 数值实验表明，NuZZ 在基准问题上的混合速度优于稀疏化 ZigZag 和哈密顿蒙特卡洛（HMC）。
• 在一项真实应用场景中，NuZZ 不仅优于高效稀疏化 ZigZag，也优于 HMC，在单位计算成本下的有效样本量更高。
• 该方法成功处理了无法获取解析梯度或计算困难的模型，显著扩展了 ZigZag 框架的适用范围。
• 理论与实证结果共同证实，数值近似引入的误差可被预测且与容差设置呈线性关系。
• 该算法在保持原始 ZigZag 过程效率的同时，通过数值近似实现了更广泛模型的适用性。