[论文解读] Taming the Curse of Dimensionality: Discrete Integration by Hashing and Optimization

Stefano Ermon, Carla P. Gomes+2 more|arXiv (Cornell University)|Feb 27, 2013

Data Management and Algorithms参考文献 32被引用 71

一句话总结

本文提出 WISH，一种随机化算法，通过在随机奇偶性约束下将 #P 难的计数问题转化为多项式数量的组合优化查询，从而近似高维离散积分——例如图形模型中的配分函数。该方法利用最先进的求解器，以高概率实现常数因子近似，支持可扩展、并行且可随时终止的推理，超越了传统变分或采样方法的局限。

ABSTRACT

Integration is affected by the curse of dimensionality and quickly becomes intractable as the dimensionality of the problem grows. We propose a randomized algorithm that, with high probability, gives a constant-factor approximation of a general discrete integral defined over an exponentially large set. This algorithm relies on solving only a small number of instances of a discrete combinatorial optimization problem subject to randomly generated parity constraints used as a hash function. As an application, we demonstrate that with a small number of MAP queries we can efficiently approximate the partition function of discrete graphical models, which can in turn be used, for instance, for marginal computation or model selection.

研究动机与目标

• 解决在指数级大集合上计算离散积分时的维度灾难问题。
• 以高概率提供对一般加权和（如图形模型中的配分函数）的常数因子近似。
• 将 #P 难的计数问题转化为带有随机奇偶性约束的小数量 NP 难优化查询。
• 在传统方法（如平均场或信念传播）失效的概率模型中实现可扩展且并行的推理。
• 通过高效的 MAP 查询估计方法，支持大规模图形模型中的模型选择和似然估计。

提出的方法

• 通过奇偶性约束的随机哈希将解空间划分为平衡子集。
• 将 #P 完全的计数问题转化为在相同空间上带有随机约束的多项式数量的最大后验概率（MAP）查询。
• 每个 MAP 查询使用现代组合求解器（如 SAT 或 MIP 求解器）求解，高效剪枝搜索空间并利用问题结构。
• 利用集中不等式确保在多项式数量查询下具有高概率正确性。
• 设计为一种可随时终止且大规模并行的算法，支持早期停止并提供可靠的下界。
• 该方法推广了 Hazan 和 Jaakkola 的先前工作，提供紧致的常数因子近似保证，而非松散的界。

实验结果

研究问题

• RQ1 我们能否仅通过少量优化查询，以常数因子精度近似高维离散积分？
• RQ2 通过奇偶性约束的随机哈希能否有效划分大规模解空间，以实现可扩展的计数？
• RQ3 能否在实践中利用最先进的组合求解器，对 #P 难的计数问题提供理论保证？
• RQ4 与平均场或信念传播等变分方法相比，WISH 算法在准确性和可扩展性方面表现如何？
• RQ5 该方法能否在精确计算配分函数不可行的大规模图形模型中有效用于模型选择？

主要发现

• 在数独问题中，WISH 对解的数量估计下界约为 1.634 × 10^21，非常接近真实值，尽管在约束数较多时出现超时。
• 在数独案例中，WISH 在 52 个奇偶性约束下成功找到解的概率为 60%，在 53 个约束时降至 50%以下，表明存在与理论预期一致的尖锐阈值。
• 在 MNIST 数据集上的受限玻尔兹曼机中，WISH 对 k=1、10 和 15 次 Gibbs 采样步骤的对数似然得分分别估计为 -41.70、-40.35 和 -40.01，与视觉质量及预期模型性能一致。
• 平均场方法的得分显著更差（-35.47 至 -36.84），且模型排序与视觉质量相反，凸显 WISH 的更高准确性。
• 该算法以高概率实现了常数因子近似，在准确性和可扩展性方面均优于启发式采样和变分方法。
• WISH 在伊辛模型和组合问题（如数独）中表现出实际有效性，而传统方法在这些场景中完全失效或产生无意义估计。