[论文解读] Scalable Variational Inference in Log-supermodular Models

Josip Djolonga, Andreas Krause|arXiv (Cornell University)|Feb 23, 2015

Adversarial Robustness in Machine Learning参考文献 30被引用 11

一句话总结

本文通过将 L-Field 方法重新表述为次模优化中的最小范数点问题，提出了一种适用于对数超模模型的可扩展变分推断方法，实现了高效且全局最优的推断。该方法在并行消息传递中实现线性收敛，在图像分割任务中，其精度优于信念传播和平均场方法，尤其在高阶势函数下表现更优。

ABSTRACT

We consider the problem of approximate Bayesian inference in log-supermodular models. These models encompass regular pairwise MRFs with binary variables, but allow to capture high-order interactions, which are intractable for existing approximate inference techniques such as belief propagation, mean field, and variants. We show that a recently proposed variational approach to inference in log-supermodular models -L-FIELD- reduces to the widely-studied minimum norm problem for submodular minimization. This insight allows to leverage powerful existing tools, and hence to solve the variational problem orders of magnitude more efficiently than previously possible. We then provide another natural interpretation of L-FIELD, demonstrating that it exactly minimizes a specific type of Rényi divergence measure. This insight sheds light on the nature of the variational approximations produced by L-FIELD. Furthermore, we show how to perform parallel inference as message passing in a suitable factor graph at a linear convergence rate, without having to sum up over all the configurations of the factor. Finally, we apply our approach to a challenging image segmentation task. Our experiments confirm scalability of our approach, high quality of the marginals, and the benefit of incorporating higher-order potentials.

研究动机与目标

• 解决具有高阶相互作用的对数超模模型中可扩展近似贝叶斯推断的挑战。
• 克服现有方法（如信念传播和平均场）存在的非凸目标函数与指数级复杂度等局限性。
• 实现在大规模模型（如包含数十万变量的计算机视觉模型）中的实际推断。
• 通过与次模优化和信息散度的联系，为 L-Field 近似提供理论洞见。
• 展示高阶势函数在提升边缘区域边际估计精度方面的有效性，尤其是在图像边界处。

提出的方法

• 将 L-Field 变分推断问题重新表述为次模函数最小化中的最小范数点问题，从而可利用高效、多项式时间的算法。
• 利用现有的最小范数点问题求解器，使 L-Field 方法的运行速度相比先前实现提升数个数量级。
• 证明 L-Field 最小化特定的 Rényi 散度，为变分近似的质量提供了理论依据。
• 设计一种并行消息传递算法，通过利用可分解对数超模模型的结构，实现线性收敛。
• 在不枚举因子所有配置的前提下实现消息传递算法，从而实现高效计算。
• 采用因子图表示，支持分布式与可扩展推断，并具备收敛性保证。

实验结果

研究问题

• RQ1 L-Field 变分推断方法能否被重新表述为一个知名优化问题，以提升可扩展性？
• RQ2 从信息散度的角度，L-Field 近似的理论解释是什么？
• RQ3 现实世界中对数超模模型的结构能否支持高效并行推断，并具备强收敛保证？
• RQ4 与成对模型相比，引入高阶势函数如何影响图像分割中边际估计的精度？
• RQ5 所提出的方法在边际质量与可扩展性方面能否优于传统方法（如信念传播和平均场）？

主要发现

• L-Field 方法等价于求解最小范数点问题，从而可使用高度优化的次模最小化算法，实现显著加速。
• L-Field 近似最小化特定的 Rényi 散度，解释了其保守特性——倾向于偏好假阳性而非假阴性。
• 基于最小范数结构的并行消息传递算法可线性收敛至全局最优，其收敛速率取决于因子图结构。
• 在图像分割任务中，所提方法在 AUC 指标上优于信念传播、平均场及其他变体，尤其在边界区域表现更优。
• 包含高阶势函数的模型产生的边际估计比成对模型更准确，而本方法是唯一能高效处理此类模型的方法。
• 该方法可扩展至包含数十万变量的模型，展示了其在真实世界计算机视觉应用中的实际可行性。