[论文解读] Overcoming the complexity barrier of the dynamic message-passing method in networks with fat-tailed degree distributions

Giuseppe Torrisi, Alessia Annibale+1 more|arXiv (Cornell University)|May 10, 2021

Complex Network Analysis Techniques参考文献 65被引用 7

一句话总结

本文提出一种动态规划算法，将动态消息传递方法在节点入度上的计算复杂度从指数级降低至二次方级，从而实现对具有重尾度分布的随机布尔网络的高效分析。该方法通过利用离散、等距耦合，突破了长期存在的复杂度障碍，成功揭示了此类系统中稳态激活模式的噪声依赖异质性。

ABSTRACT

The dynamic cavity method provides the most efficient way to evaluate probabilities of dynamic trajectories in systems of stochastic units with unidirectional sparse interactions. It is closely related to sum-product algorithms widely used to compute marginal functions from complicated global functions of many variables, with applications in disordered systems, combinatorial optimization and computer science. However, the complexity of the cavity approach grows exponentially with the in-degrees of the interacting units, which creates a de-facto barrier for the successful analysis of systems with fat-tailed in-degree distributions. In this manuscript, we present a dynamic programming algorithm that overcomes this barrier by reducing the computational complexity in the in-degrees from exponential to quadratic, whenever couplings are chosen randomly from (or can be approximated in terms of) discrete, possibly unit-dependent, sets of equidistant values. As a case study, we analyse the dynamics of a random Boolean network with a fat-tailed degree distribution and fully asymmetric binary $\pm J$ couplings, and we use the power of the algorithm to unlock the noise dependent heterogeneity of stationary node activation patterns in such a system.

研究动机与目标

• 解决具有重尾入度分布的系统中动态消息传递的指数级计算复杂度问题。
• 克服阻碍对高入度和非对称相互作用的随机系统进行解析研究的现实障碍。
• 开发一种适用于稀疏、有限耦合网络且具有随机离散耦合的可扩展方法。
• 分析具有重尾度分布的随机布尔网络中稳态节点激活模式的噪声依赖异质性。
• 通过具有幂律入度分布的网络案例研究，展示该方法的效率与准确性。

提出的方法

• 提出一种动态规划算法，通过重构时间依赖的边际概率计算，避免入度的指数级增长。
• 通过利用离散、等距的耦合值，即使在节点依赖的情况下，也将复杂度从指数级降低至入度的二次方级。
• 在具有布尔线性阈值动力学和随机噪声的有向、有限连接网络上采用腔体方法。
• 基于局部场和噪声分布，通过迭代更新节点激活概率，当相互作用完全非对称时采用马尔可夫近似。
• 通过迭代更新的收敛性计算稳态激活概率，结果与直接模拟进行验证。
• 使用配置模型生成具有幂律入度分布（γ = 2.81）的合成网络，与真实基因调控网络相匹配。

实验结果

研究问题

• RQ1 能否使动态消息传递方法在具有重尾入度分布的网络中具备计算可行性？
• RQ2 噪声对这类系统中稳态激活模式异质性的影响是什么？
• RQ3 能否在保持精度的前提下，将入度的指数复杂度降低至多项式时间？
• RQ4 与直接模拟相比，动态规划方法在计算成本和收敛性方面表现如何？
• RQ5 该方法在具有完全非对称、二值±J耦合和非可逆动力学的系统中，其准确性在多大程度上保持？

主要发现

• 动态规划算法将计算复杂度从入度的指数级降低至二次方级，使高入度系统的分析成为可能。
• 腔体方法对稳态节点激活概率的预测结果与直接模拟结果完全一致，经直方图对比得到验证。
• 对于大小为 N = 200,000 的网络，腔体方法在 50 秒内收敛，而直接模拟需超过 11 天才能达到相同精度（ϵ < 10−4）。
• 该方法成功揭示了激活模式中的噪声依赖异质性，揭示了稳态中非平凡的统计结构。
• 该方法对离散、等距耦合的系统具有鲁棒性，即使在耦合为节点依赖或通过离散化近似时，仍保持高精度。
• 该算法使非可逆、微观可逆动力学在具有重尾度分布的稀疏网络中的研究成为可能，这一领域此前在标准消息传递方法下难以处理。