[论文解读] On the utility of Metropolis-Hastings with asymmetric acceptance ratio

Christophe Andrieu, Randal Douc+2 more|arXiv (Cornell University)|Mar 26, 2018

Markov Chains and Monte Carlo Methods参考文献 9被引用 12

一句话总结

本文提出了一种新颖的Metropolis-Hastings算法——MHAAR（带平均接受率的Metropolis-Hastings），该算法在保持细致平衡和渐近正确性的同时，允许在MCMC中使用接受率的平均无偏估计。通过引入对称的辅助变量方案，该方法降低了方差并加速了收敛，尤其在并行计算环境中优势显著，已在双重不可解模型、潜变量模型和状态空间模型中得到验证。

ABSTRACT

The Metropolis-Hastings algorithm allows one to sample asymptotically from any probability distribution $π$. There has been recently much work devoted to the development of variants of the MH update which can handle scenarios where such an evaluation is impossible, and yet are guaranteed to sample from $π$ asymptotically. The most popular approach to have emerged is arguably the pseudo-marginal MH algorithm which substitutes an unbiased estimate of an unnormalised version of $π$ for $π$. Alternative pseudo-marginal algorithms relying instead on unbiased estimates of the MH acceptance ratio have also been proposed. These algorithms can have better properties than standard PM algorithms. Convergence properties of both classes of algorithms are known to depend on the variability of the estimators involved and reduced variability is guaranteed to decrease the asymptotic variance of ergodic averages and will shorten the burn-in period, or convergence to equilibrium, in most scenarios of interest. A simple approach to reduce variability, amenable to parallel computations, consists of averaging independent estimators. However, while averaging estimators of $π$ in a pseudo-marginal algorithm retains the guarantee of sampling from $π$ asymptotically, naive averaging of acceptance ratio estimates breaks detailed balance, leading to incorrect results. We propose an original methodology which allows for a correct implementation of this idea. We establish theoretical properties which parallel those available for standard PM algorithms and discussed above. We demonstrate the interest of the approach on various inference problems. In particular we show that convergence to equilibrium can be significantly shortened, therefore offering the possibility to reduce a user's waiting time in a generic fashion when a parallel computing architecture is available.

研究动机与目标

• 解决在似然函数不可计算或目标未归一化情况下的MCMC方差问题。
• 克服在伪边缘MCMC中简单平均接受率估计器时导致的细致平衡破坏问题。
• 构建一个通用框架，使用平均无偏的接受率估计器，同时保持不变分布π。
• 通过降低估计器的变异性来实现MCMC中的高效并行计算。
• 将该方法扩展至复杂模型，包括双重不可解分布、潜变量模型和状态空间模型。

提出的方法

• 提出MHAAR，一种通过对称辅助变量机制使用接受率平均估计器的Metropolis-Hastings算法。
• 引入两阶段提议机制，包含两个不同的提议核Q₁和Q₂，每个均关联一个平均接受率估计器。
• 通过构建对称处理辅助变量的联合转移核，确保细致平衡，从而保持π为不变分布。
• 使用接受率的无偏估计器（例如通过AIS或SMC），并平均N个独立样本以降低方差。
• 将该方法应用于单变量模型和潜变量模型，并扩展至变维及状态空间模型。
• 展示使用SMC或cSMC替代AIS作为接受率估计器的可行性，从而在高维或复杂模型中提升效率。

实验结果

研究问题

• RQ1 在伪边缘MCMC中，对多个独立接受率估计器进行平均是否能保持细致平衡和渐近正确性？
• RQ2 如何以与MCMC收敛保证兼容的方式降低接受率估计器的方差？
• RQ3 使用平均接受率估计器对MCMC的混合时间及趋于平衡态的收敛速度有何影响？
• RQ4 所提出的方法能否扩展至具有不可计算似然、潜变量或变维目标的模型？
• RQ5 在实际应用中，MHAAR相较于标准伪边缘或基于AIS的算法在效率上表现如何？

主要发现

• MHAAR即使在使用接受率的平均估计器时，仍能保持细致平衡并确保渐近正确性。
• 该方法显著降低了遍历平均的渐近方差，从而加快了趋于平衡态的收敛速度。
• 实证结果表明，趋于平衡态的收敛时间明显缩短，减少了并行计算环境中的用户等待时间。
• 该方法适用于双重不可解模型、潜变量模型和状态空间模型，且在混合性能上表现出改进。
• 使用SMC或cSMC替代AIS进行接受率估计在实践中是可行的，并且保持了算法的有效性。
• 该框架通过结合两个非对称提议机制，实现了非可逆MCMC，为更高效的探索开辟了新路径。