[论文解读] Streamlined Computing for Variational Inference with Higher Level Random Effects

Tui H. Nolan, Marianne Menictas+1 more|arXiv (Cornell University)|Mar 7, 2019

Gaussian Processes and Bayesian Inference参考文献 20被引用 9

一句话总结

本文提出了线性混合模型中具有两级和三级随机效应的变分推断的显式、简化的算法，将先前工作从两级情况扩展至更复杂的嵌套结构。该研究提出高效均场变分贝叶斯与变分消息传递方法，利用稀疏矩阵结构，仅在非零设计分量上操作，将计算量从数万亿次降低至数千次，从而实现大规模数据集下的快速、可扩展推断。

ABSTRACT

We derive and present explicit algorithms to facilitate streamlined computing for variational inference for models containing higher level random effects. Existing literature, such as Lee and Wand (2016), is such that streamlined variational inference is restricted to mean field variational Bayes algorithms for two-level random effects models. Here we provide the following extensions: (1) explicit Gaussian response mean field variational Bayes algorithms for three-level models, (2) explicit algorithms for the alternative variational message passing approach in the case of two-level and three-level models, and (3) an explanation of how arbitrarily high levels of nesting can be handled based on the recently published matrix algebraic results of the authors. A pay-off from (2) is simple extension to non-Gaussian response models. In summary, we remove barriers for streamlining variational inference algorithms based on either the mean field variational Bayes approach or the variational message passing approach when higher level random effects are present.

研究动机与目标

• 将简化的变分推断从两级随机效应模型扩展至三级及更高层级嵌套结构。
• 为多层模型中的均场变分贝叶斯与变分消息传递提供显式且计算高效的算法。
• 通过利用稀疏矩阵代数并仅关注设计矩阵中的非零分量，实现在大规模数据集上的可扩展推断。
• 基于近期矩阵代数研究成果，建立系统化框架以处理任意高阶嵌套结构。
• 通过用线性时间的组计数更新替代密集矩阵运算，减轻纵向与多层数据分析中的计算负担。

提出的方法

• 推导出四个基本算法（A.1–A.4），用于求解两级与三级随机效应模型中的稀疏线性系统及矩阵逆的子块。
• 应用QR分解增强技术，提升均场变分贝叶斯更新中的数值稳定性和效率。
• 开发了八个新算法（1–8），用于基于变分消息传递的因子图片段更新，实现模块化且可重用的推断代码。
• 利用Nolan & Wand（2020）的矩阵代数结果，系统性地处理更高层级嵌套，即使尚未完全泛化。
• 通过紧凑、可重用的片段实现消息传递，仅需一次推导与编码，即可适用于任意规模的模型。
• 采用稀疏矩阵表示，避免存储和操作完整的密集设计矩阵，使存储与计算量减少至原始大小的0.01%。

实验结果

研究问题

• RQ1 如何高效地将变分推断从标准两级情况扩展至三级随机效应模型？
• RQ2 在具有更高层级嵌套的多层模型中，实现简化的均场变分贝叶斯所需的显式算法组件是什么？
• RQ3 变分消息传递能否被适配至具有更高层级随机效应的多层模型，以实现模块化、可扩展的推断？
• RQ4 如何利用稀疏矩阵代数降低大规模多层模型中的计算复杂度？
• RQ5 在高维多层模型中，简化的变分推断相较于马尔可夫链蒙特卡洛方法的计算性能提升如何？

主要发现

• 对于协作围产期项目数据，简化的均场变分贝叶斯方法仅用24秒完成推断，而Stan耗时36小时，基于R的MCMC耗时3.5小时。
• 与MCMC相比，简化的变分推断速度提升达12.3倍（C++实现MCMC）至5,400倍（Stan实现MCMC），展现出巨大的效率优势。
• 该方法仅处理包含1.83万亿个条目的设计矩阵中0.01%的非零元素，将存储与计算量降至可处理水平。
• 变分消息传递支持模块化推断代码，可在不同规模的模型间复用，提升可维护性与可扩展性。
• 对于高斯响应模型，均场变分贝叶斯生成的可信区间与后验估计与MCMC结果几乎完全一致，证实了其高精度。
• 该框架为扩展至广义加性混合模型、非高斯似然及更高层级嵌套结构提供了系统化的蓝图。