[论文解读] Variable Elimination in the Fourier Domain

Yexiang Xue, Stefano Ermon+3 more|arXiv (Cornell University)|Aug 17, 2015

Bayesian Modeling and Causal Inference参考文献 26被引用 4

一句话总结

本文提出了一种基于紧凑傅里叶表示的高维概率分布的新型概率推理方法，证明了众多概率图模型具有稀疏的傅里叶表示。通过将该方法应用于变量消去，相较于传统算法（如Minibucket、信念传播和MCMC），在捕捉复杂模型中的独立分量结构方面实现了显著的性能提升。

ABSTRACT

The ability to represent complex high dimensional probability distributions in a compact form is one of the key insights in the field of graphical models. Factored representations are ubiquitous in machine learning and lead to major computational advantages. We explore a different type of compact representation based on discrete Fourier representations, complementing the classical approach based on conditional independencies. We show that a large class of probabilistic graphical models have a compact Fourier representation. This theoretical result opens up an entirely new way of approximating a probability distribution. We demonstrate the significance of this approach by applying it to the variable elimination algorithm. Compared with the traditional bucket representation and other approximate inference algorithms, we obtain significant improvements.

研究动机与目标

• 探索高维概率分布的紧凑表示方法，超越条件独立性因子分解。
• 通过利用傅里叶表示，解决图模型中精确推理的计算不可行性。
• 基于稀疏傅里叶系数开发一种新型近似推理方法，以补充经典因子分解技术。
• 在合成与真实世界的推理任务中，证明基于傅里叶的变量消去方法的有效性。

提出的方法

• 该方法将概率分布表示为加权布尔函数的离散傅里叶变换，当函数具有低次傅里叶系数时，可实现稀疏表示。
• 将Linial在CNF/DNF公式上的工作推广至加权情形，证明有界宽度逻辑形式具有紧凑的傅里叶表示。
• 将变量消去算法适配至傅里叶域，其中消息以傅里叶系数向量形式维护。
• 在消去过程中，仅保留幅度最大的傅里叶系数，以控制内存与计算开销，实现高效近似。
• 该方法通过基变换将问题转换至稀疏系数空间，在此空间中，边际化与条件化等操作计算效率更高。
• 该算法实现为两种变体：一种使用完整的系数集，另一种通过阈值化仅保留显著系数。

实验结果

研究问题

• RQ1 是否能用傅里叶表示而非条件独立性因子分解，对一大类概率图模型实现紧凑表示？
• RQ2 稀疏傅里叶表示是否能实现比传统方法（如Minibucket或MCMC）更准确且更高效的推理？
• RQ3 基于傅里叶的变量消去在基准推理问题上，能在多大程度上超越最先进求解器？
• RQ4 傅里叶表示在高维分布中，对独立分量结构的捕捉能力如何？
• RQ5 该方法是否能在大幅降低内存与计算成本的同时，保持高精度，适用于大规模推理任务？

主要发现

• 在UAI推理挑战基准测试中，基于傅里叶的变量消去在背门大小增加时，显著优于Minibucket、信念传播和MCMC。
• 在合成的伊辛模型学习任务中，仅傅里叶VE正确预测了独立分量中像素的边际概率约为0.5，而平均场方法高估，MCMC则不准确。
• 在多个UAI挑战类别中，傅里叶VE的表现与获奖的HAK求解器相当。
• 即使在消息大小限制为2^20时，该方法仍保持高精度，优于相同约束下的Minibucket和MCMC。
• 通过仅保留最大幅度的傅里叶系数进行阈值化，既保持了精度，又实现了可扩展的推理。
• 理论结果表明，具有有界宽度逻辑形式（如CNF/DNF）的加权布尔函数可拥有紧凑的傅里叶表示，将Linial的工作推广至加权情形。