[论文解读] Perturbative Corrections for Approximate Inference in Gaussian Latent Variable Models

Manfred Opper, Ulrich Paquet+1 more|arXiv (Cornell University)|Jan 12, 2013

Gaussian Processes and Bayesian Inference参考文献 25被引用 11

一句话总结

本文提出了一种微扰校正框架，用于通过期望传播（EP）改进高斯潜变量模型中的近似推理。通过将EP中被忽略的高阶累积量的不可计算校正项按幂级数展开，该方法系统性地校正EP近似，直至任意多项式阶次，其中二阶校正项可在二次时间复杂度内计算，并提供多项式时间的近似误差评估。

ABSTRACT

Expectation Propagation (EP) provides a framework for approximate inference. When the model under consideration is over a latent Gaussian field, with the approximation being Gaussian, we show how these approximations can systematically be corrected. A perturbative expansion is made of the exact but intractable correction, and can be applied to the model's partition function and other moments of interest. The correction is expressed over the higher-order cumulants which are neglected by EP's local matching of moments. Through the expansion, we see that EP is correct to first order. By considering higher orders, corrections of increasing polynomial complexity can be applied to the approximation. The second order provides a correction in quadratic time, which we apply to an array of Gaussian process and Ising models. The corrections generalize to arbitrarily complex approximating families, which we illustrate on tree-structured Ising model approximations. Furthermore, they provide a polynomial-time assessment of the approximation error. We also provide both theoretical and practical insights on the exactness of the EP solution.

研究动机与目标

• 解决在潜高斯模型中使用高斯族近似复杂后验分布时，期望传播（EP）固有的近似误差问题。
• 开发一种系统性的微扰框架，通过考虑标准矩匹配过程中被忽略的高阶累积量，校正EP的近似。
• 通过高阶校正实现EP近似质量的多项式时间评估。
• 将校正方法推广至任意近似族，包括树状结构和复杂模型。
• 通过微扰展开提供EP解精确性和收敛性的理论与实证洞察。

提出的方法

• 将EP中不可计算的校正项形式化为被局部矩匹配忽略的高阶累积量的函数。
• 对精确校正项应用微扰展开，将高阶累积量视为对EP解的小修正。
• 利用维克定理（Wick’s theorem）在中心化高斯测度下计算多项式矩，实现校正项的解析计算。
• 将校正项表示为累积量幂级数的展开式，每一阶对应更复杂的多项式校正。
• 推导出高斯过程和伊辛模型中配分函数与矩的显式二阶校正公式，其计算复杂度为二次时间。
• 通过递归累积量传播，将校正方法推广至任意近似族，包括树状结构的伊辛模型。

实验结果

研究问题

• RQ1 当使用高斯族近似潜高斯模型中非高斯后验分布时，如何系统性地校正EP的近似误差？
• RQ2 EP中不可计算校正项的结构是什么？如何利用高阶累积量将其展开为微扰级数？
• RQ3 对于高斯过程分类与回归模型，二阶微扰校正能在多大程度上提升EP的精度？其计算复杂度如何？
• RQ4 微扰校正框架能否推广至任意近似族（如树状结构模型）？其如何评估近似误差？
• RQ5 微扰展开的收敛半径是多少？其与校正有效性和稳定性的关系如何？

主要发现

• EP在微扰展开中的一阶是正确的，即EP固定点处的一阶校正项为零。
• 二阶校正项可在二次时间复杂度内计算，显著提升了高斯过程分类与回归模型中EP的精度。
• 微扰校正提供了多项式时间的近似误差评估，当低阶项较大时可实现误差诊断。
• 通过递归计算高阶累积量，该方法可推广至任意近似族，包括树状结构的伊辛模型。
• 对于高斯过程分类中的probit链接函数，其似然的三阶与四阶累积量可解析导出，从而支持更高阶校正。
• 在数据量不断增加的反例中，EP发生发散，但微扰校正框架揭示了其不稳定性，并通过高阶项量化了误差增长。