[论文解读] On the Partition Function and Random Maximum A-Posteriori Perturbations

Tamir Hazan, Tommi Jaakkola|arXiv (Cornell University)|Jun 27, 2012

Gaussian Processes and Bayesian Inference参考文献 24被引用 45

一句话总结

本文提出了一种新颖的框架，通过利用模型能量函数的随机扰动来近似概率图模型中的分母函数，从而借助最大后验概率（MAP）推理实现高效计算。该方法利用了对数分母函数与扰动能量最大值期望之间的联系，使得能够使用快速的MAP求解器（如图割法）进行可扩展的估计，尤其在信号强度高、耦合度强、能量景观崎岖的场景下表现优异。

ABSTRACT

In this paper we relate the partition function to the max-statistics of random variables. In particular, we provide a novel framework for approximating and bounding the partition function using MAP inference on randomly perturbed models. As a result, we can use efficient MAP solvers such as graph-cuts to evaluate the corresponding partition function. We show that our method excels in the typical "high signal - high coupling" regime that results in ragged energy landscapes difficult for alternative approaches.

研究动机与目标

• 解决在大多数非平凡模型中估计分母函数的计算挑战，该问题在传统方法下难以处理。
• 开发一种可扩展的近似方法，避免昂贵的枚举或采样过程，转而利用现有的高效MAP求解器。
• 在信号强度高、依赖性强的场景下提升性能，这些场景中传统方法因能量景观崎岖而表现不佳。
• 建立对数分母函数与扰动能量函数最大值期望之间的理论联系。
• 通过随机扰动和多轮采样的经验平均，提供分母函数的界和估计器。

提出的方法

• 该方法采用一种随机扰动模型，其中每个变量的能量均附加独立同分布的Gumbel噪声。
• 证明了扰动能量函数最大值的期望等于对数分母函数加上一个常数（Gumbel位置参数）。
• 通过采样多个扰动后的模型，并计算MAP目标值的经验平均来估计分母函数。
• 该方法允许使用高效的MAP求解器（如图割法），因为扰动后的模型与原始模型属于同一类别。
• 通过集中不等式和采样方差，该方法为对数分母函数提供了下界和上界。
• 该框架适用于具有任意图结构的模型，前提是MAP推理是可处理的。

实验结果

研究问题

• RQ1 是否仅通过在随机扰动模型上进行MAP推理，就能准确近似分母函数？
• RQ2 在高信号、高耦合度场景下，该方法的性能与标准方法相比如何？
• RQ3 该估计器的偏差和方差可建立哪些理论保证？
• RQ4 该框架能否用于推导出对数分母函数的紧致界？
• RQ5 在崎岖能量景观中，该方法是否在保持可扩展性的同时提升了准确性？

主要发现

• 该方法仅使用标准MAP求解器（如图割法）即可提供一致且可扩展的对数分母函数估计器。
• 实证结果表明，该估计器在信号强度高、耦合度强、能量景观崎岖的场景下尤为有效，传统方法在此类场景中往往失效。
• 理论分析表明，扰动能量最大值的期望等于对数分母函数加上一个常数，从而在采样条件下实现无偏估计。
• 实验结果表明，在具有挑战性的推理场景中，该方法的界更紧致，估计更准确，优于基线方法。
• 通过重用现有的MAP求解器，该方法在不修改底层模型结构的前提下实现了显著的计算节省。
• 该框架通过采样和集中不等式，支持对分母函数的下界和上界估计。