[论文解读] When are correlations strong?

Feraz Azhar, William Bialek|arXiv (Cornell University)|Dec 29, 2010

Neural dynamics and brain function参考文献 24被引用 7

一句话总结

该论文将伊辛模型的熵展开至成对相关系数的四阶微扰级数，表明即使单个相关性较弱，当其在大规模网络中广泛存在时，仍可产生显著的集体效应。关键发现是，最大熵模型的成功并非源于强相关性，而是因为其集体影响——仅在超越一阶微扰理论时才能捕捉到——驱动了非平凡的网络行为。

ABSTRACT

The inverse problem of statistical mechanics involves finding the minimal Hamiltonian that is consistent with some observed set of correlation functions. This problem has received renewed interest in the analysis of biological networks; in particular, several such networks have been described successfully by maximum entropy models consistent with pairwise correlations. These correlations are usually weak in an absolute sense (e.g., correlation coefficients ~ 0.1 or less), and this is sometimes taken as evidence against the existence of interesting collective behavior in the network. If correlations are weak, it should be possible to capture their effects in perturbation theory, so we develop an expansion for the entropy of Ising systems in powers of the correlations, carrying this out to fourth order. We then consider recent work on networks of neurons [Schneidman et al., Nature 440, 1007 (2006); Tkacik et al., arXiv:0912.5409 [q-bio.NC] (2009)], and show that even though all pairwise correlations are weak, the fact that these correlations are widespread means that their impact on the network as a whole is not captured in the leading orders of perturbation theory. More positively, this means that recent successes of maximum entropy approaches are not simply the result of correlations being weak.

研究动机与目标

• 解决一个看似矛盾的问题：尽管个体成对相关性微弱，最大熵模型仍能成功描述生物网络。
• 发展一种基于相关系数幂次的伊辛模型熵的系统性微扰展开，扩展至一阶近似之外。
• 量化广泛存在的微弱相关性对全局网络行为的贡献，特别是在神经网络和蛋白质相互作用网络中的作用。
• 阐明最大熵模型的成功并非仅仅源于弱相关性，而是反映了非微扰的集体效应。

提出的方法

• 使用累积量展开技术，将伊辛系统的熵展开至相关系数的四阶微扰级数。
• 将熵表示为相关函数幂次的级数，明确包含至四阶的项，涉及成对、三重和四重相关性。
• 以零场伊辛模型为参考态，通过统计力学平均计算非零相关性带来的修正。
• 识别高阶项中的不同拓扑贡献：成对索引（如 i=j, k=l）和三重索引（如 i=j=k），并正确应用对称因子。
• 将所有结果以相关系数 $ C_{ij} $、平均活动 $ \langle \sigma_i \rangle^{(0)} $ 和均方根涨落 $ (\delta\sigma_i)^{(0)}_{\text{rms}} $ 表示。
• 推导出三阶和四阶熵修正的显式公式，包括涉及 $ C_{ij}^3 $、$ C_{ij}^4 $ 和连通四点相关性的项。

实验结果

研究问题

• RQ1 为何基于成对相关性的最大熵模型在个体相关性微弱的情况下仍能成功描述复杂的生物网络？
• RQ2 微弱相关性的效应在熵展开的微扰理论中能在多大程度上被捕捉？
• RQ3 在大规模网络中，广泛分布的相关性而非强相关性，在产生集体行为中起到何种作用？
• RQ4 高阶相关性贡献（超越二阶）如何影响熵，从而影响网络的全局结构？
• RQ5 最大熵模型的成功是否可由许多微弱相关性的集体影响所引发的非微扰效应来解释？

主要发现

• 三阶熵修正包含两个独立贡献：一是由形成三角形的三个成对相关性（$ C_{ij}C_{jl}C_{li} $）构成，另一是涉及同一对的三重相关性（$ C_{ij}^3 $），其依赖于平均活动。
• 四阶熵修正包括涉及 $ C_{ij}^4 $、$ C_{ij}^2 C_{in}^2 $ 和连通四点相关性（如 $ C_{ij}C_{jn}C_{nl}C_{li} $）的项，这些项仅在索引构成闭合环路时非零。
• 存在与 $ C_{ij}^3 $ 和 $ C_{ij}^4 $ 成比例的项，且与平均活动和涨落因子相关，表明即使在相关性微弱时，也存在非高斯、非微扰效应。
• 众多微弱相关性的集体影响——尽管单个影响微小——仍可在一阶以上产生显著的熵修正，从而解释最大熵模型的成功。
• 展开式表明，当相关性数量众多且微弱时，微扰理论无法完全捕捉其效应，表明高阶项对精确建模至关重要。
• 结果表明，成对最大熵模型的成功并非源于强相关性，而是因为网络范围内微弱相关性的分布产生了非平凡的集体行为，而这种行为在低阶近似中被忽略。