[论文解读] Projected Stein Variational Newton: A Fast and Scalable Bayesian Inference Method in High Dimensions

Peng Chen, Keyi Wu+3 more|arXiv (Cornell University)|Jan 24, 2019

Markov Chains and Monte Carlo Methods参考文献 29被引用 16

一句话总结

该论文提出了一种名为投影斯坦变分牛顿（pSVN）的快速且可扩展的贝叶斯推断方法，通过基于海森矩阵的子空间投影，利用高维后验分布的内在低维几何结构。通过将样本投影到由平均海森矩阵的主导特征向量定义的低秩子空间中，pSVN 实现了与维度无关的收敛性以及强大的并行可扩展性，在高维线性和非线性问题上，其精度和速度均优于 SVGD 和 SVN。

ABSTRACT

We propose a fast and scalable variational method for Bayesian inference in high-dimensional parameter space, which we call projected Stein variational Newton (pSVN) method. We exploit the intrinsic low-dimensional geometric structure of the posterior distribution in the high-dimensional parameter space via its Hessian (of the log posterior) operator and perform a parallel update of the parameter samples projected into a low-dimensional subspace by an SVN method. The subspace is adaptively constructed using the eigenvectors of the averaged Hessian at the current samples. We demonstrate fast convergence of the proposed method and its scalability with respect to the number of parameters, samples, and processor cores.

研究动机与目标

• 解决高维贝叶斯推断中的维度灾难问题，其中传统 MCMC 和变分方法因指数级复杂度或收敛性差而受限。
• 利用后验分布的内在低维几何结构——通过后验对数似然的海森矩阵特征值快速衰减来表征——以降低计算成本。
• 开发一种可扩展且可并行化的算法，保持高精度和与参数维度及样本数量无关的快速收敛性。
• 在高维参数空间（最高达 16,000 维）的线性和非线性反问题中，验证该方法的有效性。

提出的方法

• 将参数样本投影到由负对数后验的平均海森矩阵的前导特征向量张成的低维子空间中，通过随机化无矩阵 SVD 计算得到。
• 在降维后的子空间中应用斯坦变分牛顿（SVN）更新，迭代地将一组粒子向后验分布传输。
• 在子空间中使用基于核的传输映射表示，其中核函数及其梯度计算仅依赖于内在维度 $ r $，而非完整维度 $ d $。
• 在每次迭代中自适应地构建子空间，利用后验对数似然的海森矩阵，确保捕捉到由数据决定的后验几何结构。
• 将计算工作负载分解到多个处理器上，其中主要计算成本（海森矩阵和前向求解）实现并行化，而核函数和牛顿求解的成本仅与内在维度 $ r $ 相关。
• 通过将低维更新投影回原始参数空间，重构全维空间的样本。

实验结果

研究问题

• RQ1 后验分布的内在低维结构（由后验对数似然的海森矩阵揭示）是否可被利用，以实现在贝叶斯推断中与维度无关的收敛性？
• RQ2 将粒子更新投影到由海森矩阵特征向量定义的低维子空间中，是否能带来比全维方法（如 SVGD 和 SVN）更快的收敛速度和更高的精度？
• RQ3 能否使该方法的计算复杂度与名义参数维度 $ d $ 和样本数量 $ N $ 无关，同时保持可扩展性？
• RQ4 随着处理器核心数量的增加，该方法的扩展性能如何？在实际中是否实现了强可扩展性？
• RQ5 在非线性且高维的问题中（例如 $ d > 10^4 $），该方法在标准方法失效的情况下，其有效性在多大程度上仍能保持？

主要发现

• 在 $ d = 1089 $ 的二维对数正态扩散问题中，pSVN 在估计参数均值和逐点方差时，收敛速度和精度均优于 SVN，且均方根误差（RMSE）随迭代次数持续下降。
• 在高维设置下（$ d = 16,384 $），内在维度 $ r $ 稳定在约 40，表明无论名义维度如何，后验的几何结构本质上是低维的。
• pSVN 的收敛性与样本数量 $ N $ 无关，表现为 $ N = 32 $ 到 $ 512 $ 之间，更新范数 $ orm{w^l - w^{l-1}} $ 的衰减速率相似，即使 $ d $ 增大也保持一致。
• 在最多 128 个处理器核心上，pSVN 展现出近乎完美的强可扩展性，壁时钟时间与核心数量成比例下降，且主要计算成本（海森矩阵和前向求解）实现高效扩展。
• pSVN 中核函数评估和牛顿系统求解的计算成本仅依赖于内在维度 $ r $，而非完整参数维度 $ d $，从而实现了可扩展性。
• 在 16,000 维问题中，仅使用 32 个样本即实现了高精度，表明该方法在极端高维情况下的鲁棒性与高效性。