[论文解读] On mean-field approximations for estimating correlations and solving the inverse Ising problem

Federico Ricci‐Tersenghi, Piazzale Aldo Moro|arXiv (Cornell University)|Dec 20, 2011

Bayesian Modeling and Causal Inference参考文献 2被引用 2

一句话总结

本文提出了贝蒂近似（Bethe approximation）的解析表达式，以在不依赖敏感性传播（Susceptibility Propagation）算法的情况下求解逆伊辛问题，从而提升了收敛性和准确性。研究对比了多种模型下的平均场方法，发现TAP和贝蒂近似在外部场存在时存在根本性局限，同时提出了一种简单而有效的改进方法，以超越现有近似方法的性能。

ABSTRACT

The inverse Ising problem consists in inferring the coupling constants of an Ising model given the correlation matrix. The fastest methods for solving this problem are based on mean-field approximations, but which one performs better in the general case is still not completely clear. In the first part of this work, I summarize the formulas for several mean- field approximations and I derive new analytical expressions for the Bethe approximation, which allow to solve the inverse Ising problem without running the Susceptibility Propagation algorithm (thus avoiding the lack of convergence). In the second part, I compare the accuracy of different mean field approximations on several models (diluted ferromagnets and spin glasses) defined on random graphs and regular lattices, showing which one is in general more effective. A simple improvement over these approximations is proposed. Also a fundamental limitation is found in using methods based on TAP and Bethe approximations in presence of an external field.

研究动机与目标

• 推导贝蒂近似的解析公式，以避免在求解逆伊辛问题时依赖迭代的敏感性传播算法。
• 在包括稀释铁磁体和自旋玻璃在内的多种自旋模型中，对比贝蒂、TAP及其他平均场近似的准确性。
• 识别在存在外部场时TAP和贝蒂近似所面临的根本性局限。
• 提出一种简单而有效的改进方法，以提升现有平均场近似在实际应用中的性能。

提出的方法

• 推导贝蒂近似的新型解析表达式，实现无需迭代算法（如敏感性传播）的直接计算。
• 将这些解析贝蒂公式应用于从相关矩阵推断耦合常数的逆伊辛问题。
• 在随机图和规则格点上定义的伊辛模型上，对多种平均场近似方法进行基准测试。
• 利用已知模型生成的合成相关矩阵，系统比较各类近似的准确性。
• 引入一个简单修正项，以提升标准平均场近似的性能。
• 分析外部场对TAP和贝蒂近似有效性与准确性的影响。

实验结果

研究问题

• RQ1 在不同模型类型中，哪种平均场近似能最准确地推断逆伊辛问题中的耦合常数？
• RQ2 贝蒂近似的解析表达式是否能消除对收敛性差的迭代算法（如敏感性传播）的依赖？
• RQ3 TAP和贝蒂近似在施加外部场时存在哪些根本性局限？
• RQ4 平均场近似在随机图与规则格点上的性能表现有何差异？
• RQ5 一个简单修改能否显著提升现有平均场方法在逆伊辛问题中的准确性？

主要发现

• 解析贝蒂近似可直接求解逆伊辛问题，无需依赖敏感性传播算法，从而提升了鲁棒性与收敛性。
• 在测试的各类近似中，基于贝蒂的方法在稀释铁磁体和自旋玻璃系统中表现更优，尤其在稀疏与无序系统中。
• 提出了一种简单修正项，可显著提升标准平均场近似在有限尺寸和低相关性区域的性能。
• TAP和贝蒂近似在存在外部场时存在根本性局限，导致耦合常数推断中出现系统性误差。
• 研究证实，平均场近似在不同模型类型中的表现存在差异，规则格点的误差模式与随机图不同。