[论文解读] The Mean-Field Approximation: Information Inequalities, Algorithms, and Complexity

Vishesh Jain, Frederic Koehler+1 more|arXiv (Cornell University)|Feb 16, 2018

Quantum Computing Algorithms and Architecture被引用 8

一句话总结

本文利用信息不等式和组合优化，建立了真实伊辛模型分布与其平均场近似之间KL散度的紧致、最优界。此外，本文还开发了高效算法，可在时间 $\exp(\text{poly}(1/\epsilon))$ 内以加法误差 $\epsilon n\|J\|_F$ 近似自由能，同时证明了子常数因子改进在NP难问题范围内，且为铁磁性和满足多布拉辛条件的模型提供了更快速的算法。

ABSTRACT

The mean field approximation to the Ising model is a canonical variational tool that is used for analysis and inference in Ising models. We provide a simple and optimal bound for the KL error of the mean field approximation for Ising models on general graphs, and extend it to higher order Markov random fields. Our bound improves on previous bounds obtained in work in the graph limit literature by Borgs, Chayes, Lov\\'asz, S\\'os, and Vesztergombi and another recent work by Basak and Mukherjee. Our bound is tight up to lower order terms. Building on the methods used to prove the bound, along with techniques from combinatorics and optimization, we study the algorithmic problem of estimating the (variational) free energy for Ising models and general Markov random fields. For a graph $G$ on $n$ vertices and interaction matrix $J$ with Frobenius norm $\\| J \\|_F$, we provide algorithms that approximate the free energy within an additive error of $\\epsilon n \\|J\\|_F$ in time $\\exp(poly(1/\\epsilon))$. We also show that approximation within $(n \\|J\\|_F)^{1-\\delta}$ is NP-hard for every $\\delta > 0$. Finally, we provide more efficient approximation algorithms, which find the optimal mean field approximation, for ferromagnetic Ising models and for Ising models satisfying Dobrushin's condition.

研究动机与目标

• 建立真实伊辛模型与其中场近似之间KL散度的紧致、最优界，优于以往的图极限与变分界。
• 开发高效算法，以指定加法误差近似伊辛模型及高阶马尔可夫随机场的自由能。
• 刻画自由能近似计算的复杂度，证明以最优误差的子常数因子内近似是NP难的。
• 为铁磁性伊辛模型及满足多布拉辛条件的模型提供更快速的专用算法。
• 将信息论界与组合优化中的算法技术统一，用于变分推断。

提出的方法

• 利用信息不等式与变分原理，推导真实分布与中场分布之间KL散度的紧致界。
• 应用Frieze-Kannan算法正则性引理，将相互作用矩阵 $J$ 分解为若干低秩切割矩阵之和，且误差受控。
• 通过划分的公共细化，将高维自由能最大化问题转化为低维凸规划问题，变量为块常数。
• 使用椭球法在时间 $\exp(\text{poly}(1/\epsilon))$ 内近似求解所得凸规划，误差指数级小。
• 利用铁磁性与满足多布拉辛条件模型的结构，设计更高效的多项式时间算法。
• 采用最大熵公式，将自由能与矩约束下的熵最大化联系起来，通过凸优化实现高效计算。

实验结果

研究问题

• RQ1 真实伊辛模型与其平均场近似之间KL散度的最紧致界是什么？与先前结果相比如何？
• RQ2 能否在指定加法误差内高效近似一般伊辛模型的自由能？
• RQ3 以最优误差的子常数因子内近似自由能的计算复杂度如何？
• RQ4 是否存在某些特定类别的伊辛模型，使得平均场近似与自由能估计可更高效计算？
• RQ5 如何将信息论界与算法技术结合，以获得最优变分近似？

主要发现

• 本文建立了中场近似KL误差的紧致界，优于Borgs等人及Basak与Mukherjee的先前结果，且在低阶项范围内为最优。
• 开发了一种算法，可在时间 $\exp(\text{poly}(1/\epsilon))$ 内以加法误差 $\epsilon n\|J\|_F$ 近似自由能，对固定 $\epsilon$ 而言效率较高。
• 本文证明，以 $O((n\|J\|_F)^{1-\delta})$ 误差近似自由能对任意 $\delta > 0$ 均为NP难，确立了强不可近似阈值。
• 对于铁磁性伊辛模型及满足多布拉辛条件的模型，本文提供了更快速的、多项式时间的最优中场近似计算算法。
• 通过矩阵分解、凸松弛化与细化划分上的熵最大化相结合，实现了自由能的高精度估计。
• 理论框架统一了变分推断、信息论与计算复杂度，为中场近似提供了全面分析。