[论文解读] Optimal DR-Submodular Maximization and Applications to Provable Mean Field Inference

An Bian, Joachim M. Buhmann+1 more|arXiv (Cornell University)|May 19, 2018

Bayesian Modeling and Causal Inference参考文献 39被引用 13

一句话总结

该论文提出 DR-DoubleGreedy，一种用于带框约束的连续 DR-次模最大化问题的新型单遍算法，以线性时间实现最优的 1/2 近似比。该方法可实现概率对数次模模型的可证明均场推理与后验一致评分，其在合成数据集和真实世界数据集（包括 Amazon Baby Registries）上的近似质量与收敛速度均优于现有方法。

ABSTRACT

Mean field inference in probabilistic models is generally a highly nonconvex problem. Existing optimization methods, e.g., coordinate ascent algorithms, can only generate local optima. In this work we propose provable mean filed methods for probabilistic log-submodular models and its posterior agreement (PA) with strong approximation guarantees. The main algorithmic technique is a new Double Greedy scheme, termed DR-DoubleGreedy, for continuous DR-submodular maximization with box-constraints. It is a one-pass algorithm with linear time complexity, reaching the optimal 1/2 approximation ratio, which may be of independent interest. We validate the superior performance of our algorithms against baseline algorithms on both synthetic and real-world datasets.

研究动机与目标

• 为概率对数次模模型的均场推理中缺乏可证明的近似保证提供解决方案。
• 开发一种带框约束的连续 DR-次模最大化问题的可证明最优算法。
• 将算法扩展至多轮次方法，以提升概率结构化模型中的推理性能。
• 在真实世界数据集（包括 Amazon Baby Registries）上验证该方法在 ELBO 与后验一致目标上的表现。
• 提供高效的多重线性扩展评估技术，以实现均场目标的实用优化。

提出的方法

• 提出 DR-DoubleGreedy，一种专为带框约束的连续 DR-次模最大化问题设计的单轮次双贪心算法。
• 通过理论分析证明该算法可实现最优的 1/2 近似比。
• 在多轮次扩展中采用坐标逐维最大化策略，命名为 DG-MeanField，以优化解的质量。
• 引入高效的多项式时间方法，用于计算一大类次模目标的多重线性扩展。
• 将均场近似过程展开，以支持通过反向传播实现端到端可微训练。
• 将该框架应用于后验一致（PA）评分，实现基于信息论准则的模型验证。

实验结果

研究问题

• RQ1 我们能否设计一种针对带框约束的连续 DR-次模最大化问题的可证明最优算法？
• RQ2 所提出的 DR-DoubleGreedy 算法在近似质量与收敛速度方面与现有基线相比表现如何？
• RQ3 均场近似能否被展开为可微层，以实现子模效用函数的端到端训练？
• RQ4 该算法在概率对数次模模型中对对数配分函数的下界改善程度如何？
• RQ5 该方法能否有效应用于真实世界模型验证任务，如后验一致评分？

主要发现

• DR-DoubleGreedy 在带框约束的连续 DR-次模最大化问题中实现了最优的 1/2 近似比，在所有测试场景中均优于 Submodular-DoubleGreedy（1/3 保证）与 BSCB。
• 在 Amazon Baby Registries 数据集上，DR-DoubleGreedy 在所有类别与潜在维度（D=2,3,10）下，均优于 BSCB 与基线模型，实现了更高的 ELBO 与 PA-ELBO 值。
• 对于 PA-ELBO 目标，DR-DoubleGreedy 在 n=100, D=2 时达到均值 3.751±0.087，D=3 时为 3.878±0.092，D=10 时为 3.751±0.087，始终优于 BSCB 与基线模型。
• 在多轮次设置中，DG-MeanField-1/2 的收敛速度更快，且解的质量更优，尤其在避免因初始化敏感性导致的局部最优方面表现更佳。
• 经过足够轮次迭代后，所有多轮次算法的 ELBO 值趋于一致，证实了一轮次解的质量决定了长期性能。
• 该方法实现了高效的后验一致（PA）近似，DR-DoubleGreedy 在 n=100, D=10 的各折中，PA-ELBO 均值分别为 2.225±0.136 与 1.742±0.098，表现出强大的经验稳定性。