[论文解读] $R^*$: A robust MCMC convergence diagnostic with uncertainty using decision tree classifiers

Ben Lambert, Aki Vehtari|arXiv (Cornell University)|Mar 17, 2020

Markov Chains and Monte Carlo Methods参考文献 31被引用 4

一句话总结

本文提出了 $R^{*}$，一种新颖的 MCMC 收敛诊断方法，利用机器学习分类器——特别是梯度提升回归树和随机森林——通过测量从后验样本中预测链身份的能力，来检测链之间混合不良的情况。与传统的 $˂{R}$ 不同，$R^{*}$ 利用了完整的联合分布并提供不确定性估计，从而在高维或复杂后验几何结构下，提供更稳健、更全面的收敛性评估。

ABSTRACT

Markov chain Monte Carlo (MCMC) has transformed Bayesian model inference over the past three decades: mainly because of this, Bayesian inference is now a workhorse of applied scientists. Under general conditions, MCMC sampling converges asymptotically to the posterior distribution, but this provides no guarantees about its performance in finite time. The predominant method for monitoring convergence is to run multiple chains and monitor individual chains' characteristics and compare these to the population as a whole: if within-chain and between-chain summaries are comparable, then this is taken to indicate that the chains have converged to a common stationary distribution. Here, we introduce a new method for diagnosing convergence based on how well a machine learning classifier model can successfully discriminate the individual chains. We call this convergence measure $R^*$. In contrast to the predominant $\widehat{R}$, $R^*$ is a single statistic across all parameters that indicates lack of mixing, although individual variables' importance for this metric can also be determined. Additionally, $R^*$ is not based on any single characteristic of the sampling distribution; instead it uses all the information in the chain, including that given by the joint sampling distribution, which is currently largely overlooked by existing approaches. We recommend calculating $R^*$ using two different machine learning classifiers - gradient-boosted regression trees and random forests - which each work well in models of different dimensions. Because each of these methods outputs a classification probability, as a byproduct, we obtain uncertainty in $R^*$. The method is straightforward to implement and could be a complementary additional check on MCMC convergence for applied analyses.

研究动机与目标

• 为解决现有 MCMC 收敛诊断方法的局限性，特别是其仅关注边际分布且无法检测联合分布收敛性的问题。
• 开发一种利用 MCMC 链中所有可用信息（包括联合采样模式）的收敛度量，而非依赖于方差或基于秩的总结统计量等指标。
• 提供一种可量化收敛性评估不确定性的诊断方法，从而在应用贝叶斯分析中实现更可靠的推断。
• 为现有诊断方法（如 $˂{R}$ 和有效样本量 ESS）提供一种互补且更严格的检验，尤其在传统方法可能失效的高维模型中。

提出的方法

• 训练二元分类器（例如梯度提升树或随机森林），利用后验样本作为输入特征，以预测某个 MCMC 抽样来自哪条链。
• 将分类器的样本外准确率作为 $R^{*}$ 统计量：高准确率表示混合不良（链可区分），低准确率则表示混合良好（链不可区分）。
• 将 $R^{*}$ 计算为所有链的平均分类误差，接近 0.5 的值表示收敛良好（随机猜测水平），显著低于 0.5 的值则表示混合不良。
• 通过多次运行分类器或自举重采样，利用预测概率的方差来估计 $R^{*}$ 的不确定性。
• 在计算 $R^{*}$ 前对链进行拆分（例如将每条链分为两部分），以提高对链内混合问题的敏感性。
• 引入额外协变量（如迭代块指标）以检测链中的非平稳行为或随机游走式动态。

实验结果

研究问题

• RQ1 机器学习分类器能否通过学习从后验样本中区分不同链，有效检测 MCMC 链中的混合不良？
• RQ2 当边际分布看似收敛时，$R^{*}$ 在检测联合后验分布收敛问题方面表现如何？
• RQ3 在高维模型中，$R^{*}$ 是否比 $˂{R}$ 等现有方法提供更严格、更可靠的收敛诊断？
• RQ4 $R^{*}$ 能否量化收敛性评估的不确定性？与点估计相比，这种不确定性如何提升可解释性？
• RQ5 引入迭代块等辅助特征后，$R^{*}$ 的性能和解释性如何变化？

主要发现

• 在多个测试案例中，$R^{*}$ 即使在 $˂{R}$ 表明收敛的情况下，仍成功诊断出边际分布尾部及联合分布中的收敛不良。
• 使用梯度提升树和随机森林作为基础分类器，在包括数千个参数的高维模型中，均产生了稳定且可靠的 $R^{*}$ 值。
• 在计算 $R^{*}$ 前对链进行拆分，显著提升了其检测链内混合不良的能力，表明此应成为标准做法。
• 从分类器预测概率中推导出的不确定性估计，为 $R^{*}$ 结果提供了有意义的置信度度量，增强了可解释性。
• 尽管计算成本高于 $˂{R}$，但通过使用稀疏抽样或子集维度，$R^{*}$ 仍保持可行性，并检测到了传统诊断方法遗漏的收敛问题。
• 在具有复杂后验几何结构的模型中，$R^{*}$ 在识别未收敛链方面优于 $˂{R}$，尤其在检测联合分布中混合不良方面表现更优。