[论文解读] Optimization With Parity Constraints: From Binary Codes to Discrete Integration

Stefano Ermon, Carla P. Gomes+2 more|arXiv (Cornell University)|Sep 26, 2013

Error Correcting Code Techniques参考文献 30被引用 18

一句话总结

本文提出了一种新颖的方法，通过将配分函数计算简化为一系列带有随机奇偶约束的MAP推断问题，实现对概率推断的近似。通过与二元码译码建立联系，并采用具有稀疏化和LP松弛的ILP公式，该方法在配分函数上获得了显著优于变分方法的高概率界。

ABSTRACT

Many probabilistic inference tasks involve summations over exponentially large sets. Recently, it has been shown that these problems can be reduced to solving a polynomial number of MAP inference queries for a model augmented with randomly generated parity constraints. By exploiting a connection with max-likelihood decoding of binary codes, we show that these optimizations are computationally hard. Inspired by iterative message passing decoding algorithms, we propose an Integer Linear Programming (ILP) formulation for the problem, enhanced with new sparsification techniques to improve decoding performance. By solving the ILP through a sequence of LP relaxations, we get both lower and upper bounds on the partition function, which hold with high probability and are much tighter than those obtained with variational methods.

研究动机与目标

• 解决在概率推断中对指数级大集合求和的计算挑战。
• 将配分函数计算问题简化为带有奇偶约束的多项式数量MAP推断查询。
• 通过整数规划和稀疏化技术，提高配分函数界估计的准确性。
• 建立离散积分与二元码最大似然译码之间的理论联系。

提出的方法

• 该方法将配分函数的计算简化为在带有随机生成奇偶约束的增强模型上求解一系列MAP推断问题。
• 将问题公式化为整数线性规划（ILP），利用来自二元码译码的结构特性以增强可解性。
• 引入稀疏化技术以提升译码性能并减少计算开销。
• 通过一系列线性规划松弛求解ILP，以生成配分函数的下界和上界。
• 利用编码理论中的概率保证推导出高概率界，确保界具有高置信度。

实验结果

研究问题

• RQ1 能否将概率模型中的配分函数计算简化为多项式数量的MAP推断查询？
• RQ2 如何利用奇偶约束来提高配分函数界估计的准确性？
• RQ3 离散积分与二元码最大似然译码之间存在何种关系？
• RQ4 带有稀疏化的ILP公式能否产生比传统变分方法更紧的界？

主要发现

• 所提出的方法在配分函数上获得的界显著优于变分推断技术所得的界。
• 由于基于编码理论推导出的理论保证，这些界在高概率下成立。
• 稀疏化技术提升了ILP公式的译码性能和可扩展性。
• 在ILP上使用LP松弛，可高效计算配分函数的下界和上界。