[论文解读] On Optimal Scaling of Additive Transformation Based Monte Carlo Under Non-Regular Cases

Kushal Kr. Dey, Sourabh Bhattacharya|arXiv (Cornell University)|May 5, 2014

Markov Chains and Monte Carlo Methods被引用 1

一句话总结

本文研究了在非正态目标密度和非高斯提议分布（特别是均匀分布、学生t分布和柯西分布）下，基于扩散的最优缩放在加法型变换MCMC（TMCMC）中的应用。结果表明，基于扩散的方法显著优于传统的基于期望平方跳跃距离（ESJD）的随机游走Metropolis（RWM）算法，尤其在重尾分布和不连续目标分布等具有挑战性的场景中表现优异，即使在柯西分布情况下缺乏正式证明，模拟结果也提供了强有力的证据支持。

ABSTRACT

Very recently, Transformation based Markov Chain Monte Carlo (TMCMC) was proposed by Dutta and Bhattcharya (2013) as a much efficient alternative to the Metropolis-Hastings algorithm, Random Walk Metropolis (RWM) algorithm, especially in high dimensions. The main advantage of this algorithm is that it simultaneously updates all components of a high dimensional parameter by some appropriate deterministic transformation of a single random variable, thereby reducing time complexity and enhancing the acceptance rate. The optimal scaling of the additive TMCMC approach has already been studied for the Gaussian proposal density by Dey and Bhattacharya(2013). In this paper, we discuss diffusion-based optimal scaling behavior for non-Gaussian proposal densities - in particular, uniform, Student's t and Cauchy proposals. We also consider diffusion based optimal scaling for non-Gaussian proposals when the target density is discontinuous. In the case of the Random Walk metropolis (RWM) algorithm these non-regular situations have been studied by Neal and Roberts (2011) in terms of expected squared jumping distance (ESJD), but the diffusion based approach has not been considered. Although we could not formally prove our diffusion result for the Cauchy proposal, simulation based results led us to a conjecture that the diffusion result still holds for the Cauchy case. We compare our diffusion based TMCMC approach with that of ESJD based RWM approach for the very challenging Cauchy proposal case, showing that our former approach clearly outperforms the latter.

研究动机与目标

• 将加法型TMCMC的最优缩放理论从高斯提议扩展到非正则情形，如均匀分布、学生t分布和柯西分布。
• 研究当目标密度不连续时，基于扩散的最优缩放行为，这一情形此前在扩散框架下未被分析过。
• 在具有挑战性的非高斯设置下，特别是柯西分布情况下，比较基于扩散的TMCMC与基于ESJD的RWM的性能。
• 提供实证证据，并提出一个猜想，以支持尽管缺乏正式证明，基于扩散的缩放在柯西分布提议下的有效性。
• 证明在高维、非正则目标分布下，使用非高斯提议的TMCMC可实现比RWM更高的效率。

提出的方法

• 将扩散极限方法应用于分析在非高斯提议密度下加法型TMCMC的缩放行为。
• 将扩散缩放框架应用于均匀分布、学生t分布和柯西分布提议，推导出渐近最优缩放参数。
• 通过模拟研究评估在各种非高斯和不连续目标密度下，基于扩散的TMCMC的性能。
• 在高维设置下，比较基于扩散的TMCMC与基于ESJD的RWM算法的接受率和混合效率。
• 基于模拟结果提出一个猜想，将扩散缩放结果扩展至柯西分布提议情形，尽管缺乏正式的数学证明。
• 通过利用单一随机变量同时更新所有分量，分析TMCMC在时间复杂度和接受率方面相对于传统RWM的改进。

实验结果

研究问题

• RQ1 当使用非高斯提议密度（如均匀分布、学生t分布和柯西分布）时，基于扩散的最优缩放在加法型TMCMC中的行为如何？
• RQ2 扩散缩放框架能否有意义地应用于非正则目标密度，特别是具有不连续性的目标密度？
• RQ3 在具有重尾提议的高维设置下，基于扩散的TMCMC与基于ESJD的RWM相比，性能如何？
• RQ4 尽管缺乏正式的理论依据，基于扩散的缩放结果在柯西分布提议下是否在经验上成立？
• RQ5 在非正则条件下，使用非高斯提议的TMCMC在接受率和混合效率方面相对于RWM的优越程度如何？

主要发现

• 基于扩散的最优缩放方法成功扩展至非高斯提议密度，包括均匀分布、学生t分布和柯西分布。
• 对于不连续目标密度，基于扩散的缩放框架依然有效，表明其在非正则目标假设下的鲁棒性。
• 模拟结果表明，基于扩散的TMCMC在混合效率和接受率方面显著优于基于ESJD的RWM算法，尤其在柯西分布提议下表现突出。
• 尽管柯西分布情形缺乏正式证明，但模拟证据强烈支持该猜想，表明扩散缩放结果具有更广泛的应用潜力。
• 通过同时更新所有分量并改善缩放行为，使用非高斯提议的TMCMC框架实现了比RWM更高的效率。
• 本研究证明，在高维、非正则设置下，TMCMC的时间复杂度降低，接受率提升，相较于传统RWM具有显著优势。