[论文解读] Variational Approximations between Mean Field Theory and the Junction Tree Algorithm

Wim Wiegerinck|arXiv (Cornell University)|Jan 16, 2013

Bayesian Modeling and Causal Inference参考文献 24被引用 80

一句话总结

本文提出了一种广义平均场变分推断方法，通过使用基于聚类的近似分布因子分解，弥合了标准平均场理论与精确联结树算法之间的差距。通过广义平均场方程优化聚类势能，该方法实现了灵活的图结构，并简化了模型设计，同时不牺牲近似质量。

ABSTRACT

Recently, variational approximations such as the mean field approximation have received much interest. We extend the standard mean field method by using an approximating distribution that factorises into cluster potentials. This includes undirected graphs, directed acyclic graphs and junction trees. We derive generalized mean field equations to optimize the cluster potentials. We show that the method bridges the gap between the standard mean field approximation and the exact junction tree algorithm. In addition, we address the problem of how to choose the graphical structure of the approximating distribution. From the generalised mean field equations we derive rules to simplify the structure of the approximating distribution in advance without affecting the quality of the approximation. We also show how the method fits into some other variational approximations that are currently popular.

研究动机与目标

• 开发一种变分推断框架，通过允许近似分布的聚类因子分解，推广标准平均场理论。
• 弥合概率图模型中不精确的平均场近似与精确的联结树算法之间的差距。
• 提供系统化的规则，预先简化近似分布的结构，而不降低近似质量。
• 将所提方法整合到现代变分近似方法的更广泛类别中，这些方法在机器学习中被广泛使用。

提出的方法

• 该方法使用一种可分解为聚类势能的近似分布，允许通过马尔可夫随机场、有向无环图或联结树进行表示。
• 推导出广义平均场方程以优化聚类势能，扩展了标准平均场更新规则。
• 该方法允许结构化的变分近似，可在平均场与联结树方法之间插值。
• 从广义平均场方程中推导出图结构简化规则，以降低复杂度而不影响近似精度。
• 该框架被证明与其它当代变分推断技术兼容，例如期望传播和结构化变分推断。

实验结果

研究问题

• RQ1 如何将变分推断推广至超越标准平均场假设的范围，以实现更高的精度？
• RQ2 在变分近似质量方面，平均场理论与精确联结树算法之间存在何种关系？
• RQ3 使用聚类势能的结构化近似能否改善精度与计算成本之间的权衡？
• RQ4 可采用何种标准或规则来简化近似分布的结构，而不降低性能？
• RQ5 所提方法与其它流行的变分推断技术之间存在何种关系或如何实现集成？

主要发现

• 所提方法成功地在平均场理论与精确联结树算法之间实现插值，提供了不同层次的近似质量。
• 推导出广义平均场方程，使得聚类势能的优化能够与底层图模型结构保持一致。
• 该方法允许使用联结树等结构化近似，同时保持平均场方法的计算效率。
• 从广义方程中推导出的简化规则可无损地剪枝不必要的聚类结构。
• 该方法被证明与其它现代变分推断框架兼容，显著增强了其在不同概率模型中的适用性。