[论文解读] Tensor Network Message Passing

Yijia Wang, Yuwen Ebony Zhang+2 more|arXiv (Cornell University)|May 3, 2023

Quantum many-body systems被引用 6

一句话总结

本文提出张量网络消息传递（TNMP），一种混合算法，结合张量网络收缩以处理局部子图，并通过消息传递迭代处理长程关联。该方法在具有局部密集、低树宽结构的树状系统中实现精确计算，在伊辛模型和自旋玻璃系统中，其收敛性和准确性优于信念传播和环状消息传递方法。

ABSTRACT

When studying interacting systems, computing their statistical properties is a fundamental problem in various fields such as physics, applied mathematics, and machine learning. However, this task can be quite challenging due to the exponential growth of the state space as the system size increases. Many standard methods have significant weaknesses. For instance, message-passing algorithms can be inaccurate and even fail to converge due to short loops. At the same time, tensor network methods can have exponential computational complexity in large graphs due to long loops. This work proposes a new method called ``tensor network message passing.'' This approach allows us to compute local observables like marginal probabilities and correlations by combining the strengths of tensor networks in contracting small sub-graphs with many short loops and the strengths of message-passing methods in globally sparse graphs, thus addressing the crucial weaknesses of both approaches. Our algorithm is exact for systems that are globally tree-like and locally dense-connected when the dense local graphs have limited treewidth. We have conducted numerical experiments on synthetic and real-world graphs to compute magnetizations of Ising models and spin glasses, to demonstrate the superiority of our approach over standard belief propagation and the recently proposed loopy message-passing algorithm. In addition, we discuss the potential applications of our method in inference problems in networks, combinatorial optimization problems, and decoding problems in quantum error correction.

研究动机与目标

• 解决传统消息传递算法在存在短环的图上无法收敛的局限性。
• 克服在具有长环的大图中张量网络方法的指数级复杂度。
• 开发一个统一框架，利用局部张量收缩处理密集子图，同时通过全局消息传递处理稀疏连接。
• 实现在具有混合拓扑特征的系统中对局部可观测量（如磁化强度和关联函数）的精确计算。
• 为推理、优化和量子误差纠正应用提供一种可扩展且收敛的方法。

提出的方法

• 为每个节点 $i$ 定义一个邻域结构 $\mathcal{N}_i$，通过可调半径 $R$ 控制局部张量网络的大小。
• 在 $\mathcal{N}_i \setminus \mathcal{N}_l$ 内部收缩张量，以计算有效腔消息 $p_{i \to \mathcal{N}_l}$，从而将问题简化为更小、更易处理的子图。
• 基于张量收缩进行迭代消息更新，抽象为线性系统，以在图中传播信息。
• 采用线性稳定性分析研究收敛性，将该方法与广义非回溯算子联系起来。
• 利用任意张量网络收缩技术，其复杂度与邻域图的树宽成比例，而非整个系统的树宽。
• 在一个统一框架中结合局部精确性（通过张量收缩）与全局迭代优化（通过消息传递）。

Figure 1: Pictorial illustration of belief propagation (BP) (a), tensor network contraction (b), and tensor network message passing (TNMP) (c) for computing the marginal probability of node $i$ in an Ising model on a graph. In (b), (c), and (d), circles and squares are tensors converted from the Isi

实验结果

研究问题

• RQ1 结合张量网络与消息传递的混合方法是否能在同时具有密集局部结构和长程依赖性的系统中实现精确结果？
• RQ2 局部邻域 $\mathcal{N}_i$ 的大小如何影响算法的收敛性和准确性？
• RQ3 在具有短环和复杂能量景观的系统中，TNMP 是否优于标准信念传播和环状消息传递？
• RQ4 邻域图的树宽与 TNMP 的计算复杂度之间存在何种关系？
• RQ5 TNMP 是否能有效应用于现实世界网络和复杂模型（如爱德华兹-安德森自旋玻璃）？

主要发现

• TNMP 在全局为树状、局部具有密集且低树宽子图的系统中实现了精确计算。
• 在 16×16 的爱德华兹-安德森自旋玻璃模型中，TNMP 的收敛范围比信念传播和广义信念传播更广，覆盖更宽的逆温度 $\beta$ 范围。
• 对于真实世界中的公共汽车电力系统网络，当 $R=5$ 时，TNMP 得到的磁化强度估计值几乎与精确结果无法区分，且随着邻域大小增加，误差持续减小。
• 增大邻域半径 $R$ 可减少边界关联，改善收敛性，尤其在低温下可显著减少迭代次数。
• 数值实验表明，与信念传播和 MCMC 方法相比，TNMP 在合成图和真实世界图上均展现出更高的准确性和更快的收敛速度。
• 该方法在推理、组合优化和量子误差纠正解码等应用中展现出强大潜力。

Figure 2: ( T op): Error of magnetizations $E=\frac{1}{n}\sqrt{\sum_{i=1}^{n}{(M_{i}-M^{\mathrm{exact}}_{i})^{2}}},$ given by various methods for a ferromagnetic Ising model on a synthetic graph (illustrated in the inset) generated using the model of [ 29 ] . The graph has $n=1000$ nodes and contain