[论文解读] Selection of a MCMC simulation strategy via an entropy convergence criterion

Didier Chauveau, Pierre Vandekerkhove|ArXiv.org|May 10, 2006

Markov Chains and Monte Carlo Methods参考文献 30被引用 3

一句话总结

本文提出一种基于模拟的熵收敛准则，通过比较并行独立的马尔可夫链，选择最优的MCMC策略（如Metropolis-Hastings或Gibbs采样器）。该方法利用核密度估计和蒙特卡洛积分，一致地估计基于熵的收敛度量，从而在无需事先了解混合速率的情况下，实现对最快收敛算法的早期选择。

ABSTRACT

In MCMC methods, such as the Metropolis-Hastings (MH) algorithm, the Gibbs sampler, or recent adaptive methods, many different strategies can be proposed, often associated in practice to unknown rates of convergence. In this paper we propose a simulation-based methodology to compare these rates of convergence, grounded on an entropy criterion computed from parallel (i.i.d.) simulated Markov chains coming from each candidate strategy. Our criterion determines on the very first iterations the best strategy among the candidates. Theoretically, we give for the MH algorithm general conditions under which its successive densities satisfy adequate smoothness and tail properties, so that this entropy criterion can be estimated consistently using kernel density estimate and Monte Carlo integration. Simulated examples are provided to illustrate this convergence criterion.

研究动机与目标

• 解决在收敛速率未知且难以进行解析计算时，选择最佳MCMC策略的挑战。
• 开发一种实用的、基于模拟的准则，实现对MCMC算法（如Metropolis-Hastings、Gibbs采样器或自适应方法）收敛速度的早期比较。
• 建立在非参数密度估计下，对Metropolis-Hastings算法的熵收敛准则可一致估计的理论条件。
• 提供一种适用于标准与自适应MCMC方法的方法论，包括对不同提议分布或Gibbs采样分解方式的比较。
• 通过模拟示例展示熵准则在有限样本中的可行性和一致性，即使在缺乏理论收敛界的情况下亦成立。

提出的方法

• 从每个候选MCMC策略（如Metropolis-Hastings中的不同提议密度）生成多个独立并行的马尔可夫链。
• 使用核密度估计近似当前分布的密度，计算每条链在每次迭代下的经验熵。
• 使用蒙特卡洛积分随时间估计熵准则，跟踪其向目标熵稳定的速度。
• 将熵收敛准则定义为经验熵趋近于目标分布极限熵的速率。
• 在模拟的最初几轮迭代中即应用该准则，选择熵收敛最快的策略作为最优选择。
• 在目标密度与提议密度满足光滑性与尾部条件的前提下，建立熵估计量的一致性理论，特别针对对称随机游走和独立性采样器。

实验结果

研究问题

• RQ1 在不依赖理论收敛界的前提下，基于模拟的熵准则是否能一致识别出收敛最快的MCMC策略？
• RQ2 目标密度与提议密度需满足何种正则性条件，才能通过核密度估计与蒙特卡洛积分确保熵估计量的一致性？
• RQ3 在模拟过程中，熵收敛准则最早可在何时可靠地区分不同MCMC策略？
• RQ4 熵准则是否可应用于比较不同的Gibbs采样器，或用于对比Gibbs采样器与Metropolis-Hastings算法？
• RQ5 在一般Metropolis-Hastings核下，熵收敛准则的理论性质如何，特别是关于转移密度的Lipschitz连续性与可积性？

主要发现

• 在温和正则性条件下（包括目标密度与提议密度的光滑性与尾部行为），熵收敛准则能一致估计目标分布的真实熵。
• 对于Metropolis-Hastings算法，当提议密度对称且目标密度满足适当的尾部衰减与光滑性条件时，该准则具有一致性。
• 该方法可在仅几百次迭代后即实现对最优MCMC策略的早期选择，且无需知晓真实收敛速率。
• 理论分析表明，在转移核与接受概率满足Lipschitz连续性假设下，熵准则表现良好，确保了估计的稳定性。
• 模拟结果表明，熵准则能可靠地按收敛速度对MCMC策略进行排序，收敛更快的链表现出更早的熵稳定化。
• 该方法对模型复杂性具有鲁棒性，适用于标准与自适应MCMC方法，包括对独立性与随机游走Metropolis-Hastings算法的比较。