[论文解读] Shortcut Matrix Product States and its applications

Zhuan Li, Pan Zhang|arXiv (Cornell University)|Dec 13, 2018

Tensor decomposition and applications参考文献 25被引用 6

一句话总结

本文提出了一种新型张量网络架构——快捷矩阵乘积态（Shortcut Matrix Product States, SMPS），通过在远距离张量之间添加长程快捷连接，克服了标准矩阵乘积态（MPS）固有的指数相关性衰减问题。通过基于相关性分析的策略性快捷连接布局，SMPS 显著提升了对高维数据中长程依赖关系的建模能力，在函数拟合、伊辛模型配分函数计算以及 MNIST 数字的生成建模任务中，相比原始 MPS 表现更优。

ABSTRACT

Matrix Product States (MPS), also known as Tensor Train (TT) decomposition in mathematics, has been proposed originally for describing an (especially one-dimensional) quantum system, and recently has found applications in various applications such as compressing high-dimensional data, supervised kernel linear classifier, and unsupervised generative modeling. However, when applied to systems which are not defined on one-dimensional lattices, a serious drawback of the MPS is the exponential decay of the correlations, which limits its power in capturing long-range dependences among variables in the system. To alleviate this problem, we propose to introduce long-range interactions, which act as shortcuts, to MPS, resulting in a new model extit{ Shortcut Matrix Product States} (SMPS). When chosen properly, the shortcuts can decrease significantly the correlation length of the MPS, while preserving the computational efficiency. We develop efficient training methods of SMPS for various tasks, establish some of their mathematical properties, and show how to find a good location to add shortcuts. Finally, using extensive numerical experiments we evaluate its performance in a variety of applications, including function fitting, partition function calculation of $2-$d Ising model, and unsupervised generative modeling of handwritten digits, to illustrate its advantages over vanilla matrix product states.

研究动机与目标

• 解决矩阵乘积态（MPS）在捕捉长程相关性方面因指数衰减带来的根本性局限。
• 开发一种可扩展且高效的张量网络变体，在保持计算可处理性的同时保留长程依赖关系。
• 提供一种系统性方法，用于选择张量网络中最佳的快捷连接位置，以最大化相关性保持。
• 在多种应用中展示 SMPS 的有效性，包括函数拟合、统计物理和无监督生成建模。
• 建立 SMPS 的理论与算法基础，包括分解与训练过程。

提出的方法

• 引入连接非相邻张量的快捷张量，实现长程纠缠与相关性传播。
• 利用基础 MPS 的相关性分析，识别快捷连接插入的最优位置，重点关注内在相关性较弱的区域。
• 开发一种考虑快捷连接引入的新路径的修改版张量网络收缩算法，保持计算效率。
• 使用基于梯度的训练方法对 SMPS 进行训练，采用与应用相关的损失函数，如在生成建模中的负对数似然和在伊辛模型模拟中的能量误差。
• 对 canonical form 技术进行适应性修改，以处理因快捷连接导致的 canonical 条件破坏问题。
• 采用基于顺序奇异值分解（SVDs）的分解策略，从原始高维张量中初始化并训练 SMPS。

实验结果

研究问题

• RQ1 在 MPS 中应将快捷连接放置在何处，才能最有效地减少相关性衰减并提升模型性能？
• RQ2 SMPS 在建模非一维系统（如图像和二维自旋系统）中的长程依赖关系时，是否能展现出优于标准 MPS 的表示能力？
• RQ3 快捷连接的引入如何影响张量网络模型的计算复杂度与训练效率？
• RQ4 SMPS 在多大程度上能够通过子-MPS 组件捕捉并重构复杂数据结构（如 MNIST 中的多个数字类别）？
• RQ5 在统计力学模型（如二维伊辛模型）中，SMPS 是否能提供更精确的物理可观测量估计（如自由能和比热）？

主要发现

• SMPS 显著提升了相关长度，能够捕捉标准 MPS 无法表示的长程依赖关系，尤其在图像等二维数据中表现突出。
• 利用基础 MPS 的相关性图可实现有效的快捷连接布局，最优位置通常位于内在相关性较低的区域，如数字图像的对角角落。
• 在 MNIST 数字的无监督生成建模中，SMPS 的负对数似然低于 MPS，表明其对数据分布和依赖关系的捕捉能力更强。
• 在二维伊辛模型模拟中，SMPS 提供了更精确的自由能、能量和比热估计，优于 MPS 并接近精确结果。
• SMPS 可被分解为多个子-MPS 组件，每个组件可捕捉不同的数据模式（如特定数字类别），展示了其对复杂多模态数据的建模能力。
• 尽管性能提升，快捷连接的存在破坏了 canonical 形式，导致归一化和配分函数计算的计算成本增加，尤其是在双站点更新过程中。