[论文解读] Sampling normalizing constants in high dimensions using inhomogeneous diffusions

Christophe Andrieu, James Ridgway+1 more|Bristol Research (University of Bristol)|Dec 22, 2016

Markov Chains and Monte Carlo Methods参考文献 23被引用 4

一句话总结

本文提出了一种新颖的方法，用于在高维贝叶斯推断中估计归一化常数，采用非齐次扩散过程，建立了在 $d \to \infty$ regime 下的非渐近方差与偏差界以及中心极限定理。该方法利用时间非齐次的过阻尼朗之万扩散过程，结合强对数凹势函数，表明离散化版本继承了波动性质，且计算成本在维度 $d$ 上呈多项式增长，从而在高维中实现可靠的似然比采样。

ABSTRACT

Motivated by the task of computing normalizing constants and importance sampling in high dimensions, we study the dimension dependence of fluctuations for additive functionals of time-inhomogeneous Langevin-type diffusions on $\mathbb{R}^{d}$. The main results are nonasymptotic variance and bias bounds, and a central limit theorem in the $d o\infty$ regime. We demonstrate that a temporal discretization inherits the fluctuation properties of the underlying diffusion, which are controlled at a computational cost growing at most polynomially with $d$. The key steps include establishing Poincaré inequalities for time-marginal distributions of the diffusion and nonasymptotic bounds on deviation from Gaussianity in a martingale central limit theorem.

研究动机与目标

• 开发一种在高维贝叶斯模型中估计归一化常数的计算高效方法。
• 分析时间非齐次扩散过程中加法泛函波动的维度依赖性。
• 为使用非齐次扩散过程估计归一化常数建立非渐近方差与偏差界。
• 在高维极限 $d \to \infty$ 下，证明扩散过程的中心极限定理。
• 量化扩散过程时间离散化引入的误差，确保其在 $d$ 增大时仍可控制。

提出的方法

• 在 $\mathbb{R}^d$ 上使用时间非齐次的过阻尼朗之万扩散过程，结合随时间变化的势函数 $U_t(x)$，确保目标测度 $\pi_t$ 的强对数凹性。
• 对扩散过程的有限时间边际分布应用庞卡莱不等式，以控制加法泛函中的方差与偏差。
• 为扩散过程的鞅中心极限定理中对高斯性的偏离推导非渐近界。
• 构建一个时间步长为 $h$ 的时间离散化方案，其中骨架过程 $\tilde{X}_{kh}^{\epsilon,h}$ 在离散时间点上进行模拟。
• 通过有界连续过程与离散化过程之间的总变差距离控制离散化误差，表明其为 $O\left(\frac{h}{\epsilon^2}d^{4q+1}\right)$。
• 采用鞅近似技术，推导扩散过程在中心极限定理中收敛速率的定量界。

实验结果

研究问题

• RQ1 非齐次扩散过程的加法泛函的方差与偏差如何随维度 $d$ 变化？
• RQ2 是否可以在高维极限 $d \to \infty$ 下为扩散过程建立中心极限定理？
• RQ3 时间离散化对扩散过程波动特性有何影响，且该误差是否能在 $d$ 上一致有界？
• RQ4 该方法的计算成本如何随维度变化，是否能保持在 $d$ 的多项式范围内？
• RQ5 该方法能否可靠地用于高维模型（如逻辑回归）中估计归一化常数？

主要发现

• 推导出非齐次扩散过程加法泛函的非渐近方差与偏差界，表明在强对数凹性下，其随维度衰减。
• 在 $d \to \infty$ 的极限下建立了中心极限定理，通过高斯性偏离的界量化了收敛速率。
• 离散化过程继承了连续扩散过程的波动特性，总变差误差界为 $O\left(\frac{h}{\epsilon^2}d^{4q+1}\right)$。
• 该方法的计算成本在 $d$ 上至多呈多项式增长，使其适用于高维问题。
• 对于逻辑回归，该方法显示出随维度变化的误差衰减，方差与偏差界随 $d$ 多项式增长。
• 该方法实现了高维中归一化常数的可靠重要性采样，避免了标准重要性采样中常见的指数级退化。