[论文解读] On optimal direction gibbs sampling

J. Andrés Christen, Colin Fox+2 more|arXiv (Cornell University)|May 18, 2012

Bayesian Methods and Mixture Models参考文献 1被引用 4

一句话总结

本文提出了一种最优方向吉布斯采样方法，通过选择采样方向以最小化连续状态之间的互信息，从而改善MCMC的混合性能。通过利用多变量正态近似并最小化Kullback-Leibler散度，该方法在高偏度、非椭球形后验分布中实现了比标准吉布斯采样或随机游走Metropolis-Hastings更快的收敛速度和更优的性能，尤其适用于全条件分布不可求解的情形。

ABSTRACT

Generalized Gibbs kernels are those that may take any direction not necessarily bounded to each axis along the parameters of the objective function. We study how to optimally choose such directions in a Directional, random scan, Gibbs sampler setting. The optimal direction is chosen by minimizing to the mutual information (Kullback-Leibler divergence) of two steps of the MCMC for a truncated Normal objective function. The result is generalized to be used when a Multivariate Normal (local) approximation is available for the objective function. Three Gibbs direction distributions are tested in highly skewed non-normal objective functions.

研究动机与目标

• 开发一种方向性吉布斯采样方法，通过优化采样方向来改善MCMC中的混合性能。
• 解决在高度偏斜、非正态后验分布中标准吉布斯采样因全条件分布不可求解而效率低下的挑战。
• 将连续状态之间的互信息最小化作为最优方向选择的标准。
• 利用局部多变量正态近似对方法进行推广，以实现实际应用。
• 在具有复杂曲率的非椭球形、截断正态分布及强偏斜后验分布上测试性能。

提出的方法

• 通过最小化连续状态之间的互信息来选择最优方向，该互信息被形式化为联合分布与乘积测度之间的Kullback-Leibler散度。
• 对于多变量正态目标分布，该方法利用精度矩阵和方向向量，推导出转移核和互信息的闭式表达式。
• 算法采用基于后验日志密度Hessian矩阵的方向性提议分布，必要时通过数值积分处理归一化。
• 替代方向分布 $ h_1 $ 通过Hessian矩阵的特征分解避免归一化，但在高偏斜下可能导致样本集中在主导方向。
• 改进的分布 $ h_2 $ 通过 $ \lambda_i^{-b} $ 对特征向量进行加权，其中 $ b \sim \text{Beta}(1,9) $，在高对比曲率区域提升了平衡性。
• 在具有不同偏度和尺度对比度的2D示例上测试了该方法，比较了接受率和积分自相关时间（IAT）。

实验结果

研究问题

• RQ1 如何优化吉布斯采样中的采样方向，以最小化连续状态之间的依赖性？
• RQ2 在非椭球形、高度偏斜的后验分布中，互信息最小化是否能实现MCMC更快的混合？
• RQ3 当全条件分布不可求解时，最优方向吉布斯采样器的性能如何？
• RQ4 方向分布的选择如何影响高曲率对比区域的混合效率？
• RQ5 与标准方向采样相比，基于加权特征向量的提议是否能提升在偏斜后验分布中的鲁棒性？

主要发现

• 最优方向吉布斯采样在所有测试案例中均实现了低积分自相关时间（IAT）（2.7至8.8），表明混合速度快。
• 接受率保持在较高水平（0.73–0.88），表明探索效率高且无需复杂调参。
• 在高偏斜下，$ h_2 $ 分布通过 $ \lambda_i^{-b} $ 对特征向量加权，成功缓解了样本在主导方向上的集中现象。
• 在曲率对比极端的案例中（如 $ \boldsymbol{\alpha} = (-10.0, -10.0) $），$ h_2 $ 将IAT从8.82降低至2.71，显示出显著改进。
• 在全条件分布解析不可求解的情况下，该方法优于标准吉布斯采样和随机游走Metropolis-Hastings。
• 该方法在反问题和非正态后验分布中尤为有效，而传统MCMC方法在这些场景中通常需要大量调参。