[论文解读] The Controlled Thermodynamic Integral for Bayesian Model Comparison

Chris J. Oates, Theodore Papamarkou+1 more|arXiv (Cornell University)|Apr 20, 2014

Markov Chains and Monte Carlo Methods参考文献 41被引用 12

一句话总结

本文提出了受控热力学积分（CTI），一种用于贝叶斯模型比较的方差缩减技术，通过在热力学积分中使用控制变量实现。利用对数似然和对数先验的梯度，CTI在证据估计中实现了显著的方差减少——在回归模型和基准数据集上得到验证——同时在贝叶斯线性回归中保持精确。

ABSTRACT

Bayesian model comparison relies upon the model evidence, yet for many models of interest the model evidence is unavailable in closed form and must be approximated. Many of the estimators for evidence that have been proposed in the Monte Carlo literature suffer from high variability. This paper considers the reduction of variance that can be achieved by exploiting control variates in this setting. Our methodology is based on thermodynamic integration and applies whenever the gradient of both the log-likelihood and the log-prior with respect to the parameters can be efficiently evaluated. Results obtained on regression models and popular benchmark datasets demonstrate a significant and sometimes dramatic reduction in estimator variance and provide insight into the wider applicability of control variates to Bayesian model comparison.

研究动机与目标

• 解决贝叶斯模型比较中模型证据的蒙特卡洛估计器存在的高方差问题，这是该领域的一个关键瓶颈。
• 开发一种在不增加计算成本超过标准MCMC的前提下，减少热力学积分中估计器方差的方法。
• 利用微分几何MCMC方法中可用的梯度信息，构建有效的控制变量。
• 为实际中最大化方差减少效果，提供最优控制变量构造的理论指导。
• 在真实世界模型和基准数据集上展示该方法的有效性，包括其在某些情况下为精确解的情形（如贝叶斯线性回归）。

提出的方法

• 将物理学中的零方差（ZV）控制变量技术适配至贝叶斯模型比较，通过热力学积分（TI）实现。
• 利用关于模型参数的对数似然和对数先验的梯度构建控制变量，这些梯度在许多现代MCMC方法中均可获得。
• 将受控热力学积分表述为一种修改后的TI估计器，通过减去具有已知期望的控制变量来降低方差。
• 通过确保控制变量在后验分布下期望为零来保证无偏性，利用后验分布的指数尾部特性。
• 以得分函数（后验对数密度的导数）作为控制变量的基础，当梯度可得时可实现高效计算。
• 将该方法应用于指数族模型（如线性回归）和非指数族模型（如Goodwin振荡器），展示其广泛适用性。

实验结果

研究问题

• RQ1 控制变量能否显著降低热力学积分估计器在模型证据估计中的方差？
• RQ2 在何种条件下，受控热力学积分估计器恰好等于真实模型证据？
• RQ3 在标准基准数据集上，CTI方法的性能与最先进估计器相比如何？
• RQ4 在哪些模型类别中，CTI方法最为有效，又在哪些情况下可能失效？
• RQ5 在此背景下，指导控制变量最优构造的理论原则是什么？

主要发现

• 受控热力学积分在与标准热力学积分及其他蒙特卡洛估计器相比，实现了显著且通常大幅降低的方差。
• 在贝叶斯线性回归模型中，该方法为精确解——其估计器方差为零——这是由于后验对数密度的线性结构以及闭式梯度的可得性所致。
• 在回归模型和基准数据集上的实证结果表明，方差减少具有一致性，尤其在高维或复杂模型中表现尤为突出。
• 该方法适用于所有可计算对数似然和对数先验梯度的模型，这包括大多数使用微分几何MCMC采样器的模型。
• 当后验分布为指数族且充分统计量关于参数为线性时，该方法对模型是精确的，如高斯线性模型。
• 当所需梯度不可用，或控制变量无法满足零均值条件时，会出现失败情况，尤其在重尾后验分布或非光滑似然模型中。