[论文解读] Solving Marginal MAP Problems with NP Oracles and Parity Constraints

Yexiang Xue, Zhiyuan Li+3 more|arXiv (Cornell University)|Oct 8, 2016

Bayesian Modeling and Causal Inference被引用 5

一句话总结

该论文提出XOR_MMAP，一种针对Marginal MAP问题的新型常数因子近似算法，通过将难以处理的边际化子问题编码为在奇偶约束下的NP预言机查询。该方法将优化与计数整合为单一多项式规模的优化问题，在机器学习和决策应用中优于最先进求解器，展现出更紧的边界和更优的解质量。

ABSTRACT

Arising from many applications at the intersection of decision making and machine learning, Marginal Maximum A Posteriori (Marginal MAP) Problems unify the two main classes of inference, namely maximization (optimization) and marginal inference (counting), and are believed to have higher complexity than both of them. We propose XOR_MMAP, a novel approach to solve the Marginal MAP Problem, which represents the intractable counting subproblem with queries to NP oracles, subject to additional parity constraints. XOR_MMAP provides a constant factor approximation to the Marginal MAP Problem, by encoding it as a single optimization in polynomial size of the original problem. We evaluate our approach in several machine learning and decision making applications, and show that our approach outperforms several state-of-the-art Marginal MAP solvers.

研究动机与目标

• 为解决Marginal MAP问题的高复杂度问题，该问题为NP^PP完全问题，比MAP和边际推理更困难。
• 开发一种可扩展的近似方法，比现有方法更高效地整合优化与难以处理的计数。
• 提供一个单一的、多项式规模的优化公式，同时捕捉最大化和边际化两部分。
• 在计算资源增加时，提供紧致的上下界，且边界质量可随计算投入提升。
• 在深度信念网络、网络级联设计和计算可持续性等多样化应用中评估该方法。

提出的方法

• XOR_MMAP将Marginal MAP中的难处理求和重新表述为一系列带有随机生成XOR约束的优化问题。
• 它使用NP预言机查询在这些奇偶约束下解的可行性，通过在约束实例上采样，有效近似边际化。
• 该方法将整个MMAP问题编码为相对于原问题多项式规模的单一联合优化问题。
• 它利用Ermon等人提出的低密度奇偶校验码框架，确保对真实边际计数的常数因子近似。
• 通过增加XOR约束数量并求解相应的优化实例，算法逐步改进边界。
• 该方法实现为单次优化调用，避免对优化和边际化进行迭代或独立处理。

实验结果

研究问题

• RQ1 我们能否通过将难以处理的计数子问题简化为带有奇偶约束的NP预言机查询，实现对Marginal MAP问题的常数因子近似？
• RQ2 将优化与边际化整合到单一联合优化中，相较于解耦方法，如何提升解的质量和计算效率？
• RQ3 XOR_MMAP在真实世界应用中，相较于SAA和Mixed Loopy Belief Propagation等最先进求解器，能多大程度上实现性能超越？
• RQ4 XOR_MMAP能否为MMAP目标提供紧致且可逐步改进的上下界？
• RQ5 在深度信念网络图像补全和网络级联优化等复杂应用中，XOR_MMAP的效率如何？

主要发现

• 在10×10的伊辛模型上，XOR_MMAP与真实值的中位数log10计数差为0.3，而SAA和Mixed LBP的差异在10的量级。
• 在深度信念网络的图像补全任务中，XOR_MMAP生成了连贯的数字补全结果，而SAA仅在所有数字上生成了模糊的点。
• 在网络级联基准测试中，XOR_MMAP选择的节点购买策略在所有预算水平下，均显著提升了目标节点的激活概率，优于SAA。
• 精确的AOBB求解器因内存限制，在60%的20%最大变量实例上失败，而XOR_MMAP保持可扩展且高效。
• 在耦合强度各异的伊辛模型6个测试用例中，XOR_MMAP在所有情况下均优于SAA和Mixed LBP，且随着耦合强度增加，性能差距扩大。
• XOR_MMAP提供的边界比竞争方法更紧，且可通过增加计算投入进一步改进。