[论文解读] Note on the computation of the Metropolis-Hastings ratio for Birth-or-Death moves in trans-dimensional MCMC algorithms for signal decomposition problems

Alireza Roodaki, Julien Bect+1 more|arXiv (Cornell University)|Nov 27, 2011

Markov Chains and Monte Carlo Methods参考文献 45被引用 3

一句话总结

本文纠正了在信号分解中用于变维MCMC算法的Birth-or-Death移动中长期存在的Metropolis-Hastings-Green（MHG）比率错误。通过分析混合提议核，本文提供了正确MHG比率的数学严谨推导，并将其应用于Andrieu和Doucet（1999）的开创性工作，表明先前错误的实现已导致后验模型分布偏差，尤其因错误的接受概率而倾向于更少的分量。

ABSTRACT

Reversible jump MCMC (RJ-MCMC) sampling techniques, which allow to jointly tackle model selection and parameter estimation problems in a coherent Bayesian framework, have become increasingly popular in the signal processing literature since the seminal paper of Andrieu and Doucet (IEEE Trans. Signal Process., 47(10), 1999). Crucial to the implementation of any RJ-MCMC sampler is the computation of the so-called Metropolis-Hastings-Green (MHG) ratio, which determines the acceptance probability for the proposed moves. It turns out that the expression of the MHG ratio that was given in the paper of Andrieu and Doucet for "Birth-or-Death" moves---the simplest kind of trans-dimensional move, used in virtually all applications of RJ-MCMC to signal decomposition problems---was erroneous. Unfortunately, this mistake has been reproduced in many subsequent papers dealing with RJ-MCMC sampling in the signal processing literature. This note discusses the computation of the MHG ratio, with a focus on the case where the proposal kernel can be decomposed as a mixture of simpler kernels, for which the MHG ratio is easy to compute. We provide sufficient conditions under which the MHG ratio of the mixture can be deduced from the MHG ratios of the elementary kernels of which it is composed. As an application, we consider the case of Birth-or-Death moves, and provide a corrected expression for the erroneous ratio in the paper of Andrieu and Doucet.

研究动机与目标

• 识别并纠正用于信号分解的变维MCMC算法中Birth-or-Death移动的MHG比率中的长期错误。
• 为当提议核是较简单核的混合时，提供计算MHG比率的一般框架。
• 证明Andrieu和Doucet（1999）公式中的错误导致后验模型选择偏差，倾向于更少的分量。
• 提供适用于未知正弦分量数量的信号分解问题的校正、数学上严谨的MHG比率表达式。
• 防止后续依赖于错误公式的信号处理论文中继续传播该错误。

提出的方法

• 通过建立充分条件，推导出混合提议核的MHG比率，使得混合核的比率可由其基本组成部分的比率推导得出。
• 将该一般框架应用于信号分解中的Birth-or-Death移动，其中提议核是对应于插入或移除一个正弦分量的核的混合。
• 考虑三种表示形式：无序向量、有序向量和点过程，表明在可交换性条件下，MHG比率的计算是等价的。
• 识别核心错误：在原始公式中，出生移动总是将新分量插入末尾，但死亡移动则随机选择任意分量——导致不一致，并使非末尾分量的接受概率为零。
• 推导出校正后的MHG比率（公式5），该比率考虑了正确的雅可比行列式和提议密度比，确保细致平衡并正确地靶向后验分布。
• 通过模拟验证了该修正，比较了在泊松分布和加速泊松先验下使用正确与错误比率时的后验模型频率。

实验结果

研究问题

• RQ1 为何Andrieu和Doucet（1999）论文中用于Birth-or-Death移动的MHG比率存在根本性错误？
• RQ2 在何种条件下，混合提议核的MHG比率可由其组成部分的比率推导得出？
• RQ3 错误的MHG比率如何影响信号分解问题中的后验模型选择？
• RQ4 当使用无序或有序正弦分量表示时，Birth-or-Death移动的正确MHG比率表达式是什么？
• RQ5 为何错误的接受概率会导致后验模型维度分布系统性地向更少分量偏移？

主要发现

• Andrieu和Doucet（1999）论文中的MHG比率是错误的，因为它假设出生移动中总是将新分量插入末尾，但允许在死亡移动中任意移除分量，违反了细致平衡。
• 校正后的MHG比率（公式5）考虑了正确的雅可比行列式和提议密度比，确保马尔可夫链正确地靶向后验分布。
• 模拟结果表明，使用错误比率会使模型维度$k$的后验分布显著向左偏移，倾向于更少的分量，尤其在非均匀先验（如加速泊松先验）下更为明显。
• 该错误已在14篇以上的后续信号处理论文中被重现，所有这些论文均需修正以确保有效的贝叶斯推断。
• 校正后的比率确保了尝试移除非最后一个分量的死亡移动接受概率为零，从而与出生移动机制保持一致。
• 本研究强调，即使MCMC接受比率中的微小错误，也可能导致看似合理但错误的后验推断，凸显了严谨测度论基础的重要性。