[论文解读] Pathfinder: Parallel quasi-Newton variational inference

Lu Zhang, Bob Carpenter+2 more|arXiv (Cornell University)|Aug 9, 2021

Probabilistic and Robust Engineering Design参考文献 51被引用 18

一句话总结

Pathfinder 是一种并行变分推断算法，利用拟牛顿优化路径生成复杂后验分布的正态近似，通过逆 Hessian 估计获得协方差。其性能与 1–2 个周期的哈密顿蒙特卡洛链相当，但对对数密度和梯度的评估次数减少一到两个数量级，同时支持在多核系统上实现毫不费力的并行 ELBO 评估，从而实现加速。

ABSTRACT

We propose Pathfinder, a variational method for approximately sampling from differentiable log densities. Starting from a random initialization, Pathfinder locates normal approximations to the target density along a quasi-Newton optimization path, with local covariance estimated using the inverse Hessian estimates produced by the optimizer. Pathfinder returns draws from the approximation with the lowest estimated Kullback-Leibler (KL) divergence to the true posterior. We evaluate Pathfinder on a wide range of posterior distributions, demonstrating that its approximate draws are better than those from automatic differentiation variational inference (ADVI) and comparable to those produced by short chains of dynamic Hamiltonian Monte Carlo (HMC), as measured by 1-Wasserstein distance. Compared to ADVI and short dynamic HMC runs, Pathfinder requires one to two orders of magnitude fewer log density and gradient evaluations, with greater reductions for more challenging posteriors. Importance resampling over multiple runs of Pathfinder improves the diversity of approximate draws, reducing 1-Wasserstein distance further and providing a measure of robustness to optimization failures on plateaus, saddle points, or in minor modes. The Monte Carlo KL divergence estimates are embarrassingly parallelizable in the core Pathfinder algorithm, as are multiple runs in the resampling version, further increasing Pathfinder's speed advantage with multiple cores.

研究动机与目标

• 开发一种可扩展且鲁棒的变分推断方法，其在准确性和效率方面优于现有方法。
• 利用 L-BFGS 优化路径中的曲率信息，构建复杂后验分布的高质量正态近似。
• 通过在优化路径上多个点并行评估证据下界（ELBO），克服标准变分推断中的顺序瓶颈。
• 通过在多个 Pathfinder 运行上进行重要性重采样，提升近似样本的多样性与鲁棒性。
• 提供一种快速、可直接替换的 MCMC 冷启动初始化方法，尤其适用于哈密顿蒙特卡洛和自适应 Metropolis 采样器。

提出的方法

• Pathfinder 使用 L-BFGS 从随机初始化出发，沿后验分布的尾部到众数生成拟牛顿优化路径。
• 在优化路径上，利用局部逆 Hessian 估计作为协方差矩阵，评估正态近似。
• 该算法并行计算每个正态近似的 ELBO，并选择估计 KL 散度最低的近似作为最优解。
• 通过在多个独立的 Pathfinder 运行上进行重要性重采样，提升样本的多样性与对优化失败的鲁棒性。
• 该方法使用广义帕累托光滑重要性采样（PSIS）稳定重采样过程，提升后验近似的质量。
• 核心算法具有天然的并行性，因为路径上不同点的 ELBO 评估相互独立，可轻松分布到多个核心上。

实验结果

研究问题

• RQ1 能否利用拟牛顿优化路径生成复杂后验分布的高质量正态近似？
• RQ2 与顺序变分推断相比，在优化路径上并行评估 ELBO 是否能显著提升计算效率？
• RQ3 在与真实后验的 1- Wasserstein 距离方面，Pathfinder 的性能与 ADVI 和短周期 HMC 链相比如何？
• RQ4 在多个 Pathfinder 运行上进行重要性重采样是否能提升样本多样性与对初始化及局部极小值的鲁棒性？
• RQ5 Pathfinder 是否可作为哈密顿蒙特卡洛和自适应 Metropolis 采样器中 MCMC 冷启动阶段的有效且高效的替代方案？

主要发现

• Pathfinder 生成的近似样本与短周期动态哈密顿蒙特卡洛链的样本在 1-Wasserstein 距离上相当，表明其后验近似质量很高。
• 该方法在复杂后验分布上所需对数密度和梯度评估次数比 ADVI 和短周期 HMC 减少一到两个数量级，尤其在挑战性模型上表现显著。
• 并行 ELBO 评估在多核系统上实现了显著加速，且在更复杂模型中性能增益更大。
• 在多个 Pathfinder 运行上进行重要性重采样可进一步降低 1-Wasserstein 距离，并提升对路径上平台或次模态中优化失败的鲁棒性。
• L-BFGS 提供的逆 Hessian 估计可作为 MCMC 自适应的可靠初始协方差矩阵，可能在低维模型中绕过 Stan 的第二轮冷启动阶段。
• 结合尺度扩展重初始化，Pathfinder 对不良初始化具有鲁棒性，能够发现后验分布的多个众数。