[论文解读] On the Optimal Linear Contraction Order of Tree Tensor Networks, and Beyond

Mihail Stoian, Milbradt, Richard+1 more|arXiv (Cornell University)|Sep 25, 2022

Parallel Computing and Optimization Techniques被引用 4

一句话总结

本文提出 TensorIKKBZ，一种多项式时间算法，通过借鉴数据库连接顺序优化技术，为树状张量网络找到最优线性收缩顺序。该文证明了收缩代价函数满足相邻序列交换性质，从而可通过局部比较实现全局最优解，并通过启发式框架将该方法扩展至一般张量网络，展现出强劲的实验性能。

ABSTRACT

The contraction cost of a tensor network depends on the contraction order. However, the optimal contraction ordering problem is known to be NP-hard. We show that the linear contraction ordering problem for tree tensor networks admits a polynomial-time algorithm, by drawing connections to database join ordering. The result relies on the adjacent sequence interchange property of the contraction cost, which enables a global decision of the contraction order based on local comparisons. Based on that, we specify a modified version of the IKKBZ database join ordering algorithm to find the optimal tree tensor network linear contraction order. Finally, we extend our algorithm as a heuristic to general contraction orders and arbitrary tensor network topologies.

研究动机与目标

• 开发一种用于树状张量网络最优线性收缩顺序的多项式时间算法，该问题在一般情况下为 NP-难问题。
• 建立张量网络收缩与数据库连接顺序之间的正式联系，特别是与 IKKBZ 算法的关联。
• 证明张量网络收缩代价函数满足相邻序列交换（ASI）性质，从而可通过局部决策实现全局优化。
• 将最优线性收缩框架扩展为启发式方法，适用于一般收缩顺序和任意张量网络拓扑结构。
• 与最先进的基于超图划分的优化器进行实证比较，验证其优越的性能与效率。

提出的方法

• 通过将收缩代价重新表述为类似于连接选择性和基数的形式，将 IKKBZ 数据库连接顺序算法适配于张量网络收缩。
• 证明张量收缩代价函数满足相邻序列交换（ASI）性质，从而可通过局部比较实现最优排序。
• 将收缩代价定义为每次收缩中涉及的边尺寸的乘积，确保其与朴素张量乘法的计算代价一致。
• 构建 IKKBZ 算法的改进版本——TensorIKKBZ，专门用于树状张量网络，以多项式时间计算最优线性收缩序列。
• 将 TensorIKKBZ 的输出作为 LinDP 的种子，LinDP 是一种近期的连接顺序优化器，可构建尊重给定张量排列的最优收缩树。
• 应用最大生成树启发式方法，将该方法推广至任意张量网络，其中精确优化不可行。

实验结果

研究问题

• RQ1 树状张量网络的最优线性收缩顺序能否在多项式时间内计算？
• RQ2 张量网络收缩代价函数是否满足贪婪优化所需的相邻序列交换（ASI）性质？
• RQ3 能否将数据库连接顺序技术 IKKBZ 适配以实现树状张量网络中的最优线性收缩顺序？
• RQ4 所提出的最优线性收缩算法在实践中与最先进的基于超图划分的优化器相比表现如何？
• RQ5 最优线性收缩顺序能否作为一般张量网络拓扑结构启发式优化的高质量初始种子？

主要发现

• TensorIKKBZ 以多项式时间计算树状张量网络的最优线性收缩顺序，证明了收缩代价函数满足相邻序列交换（ASI）性质。
• 对于分叉张量乘积态（FTPS）网络，尽管受限于线性顺序，TensorIKKBZ 的收缩代价与最先进的超优化器 ctg.Hyper-Par 相当。
• LinDP（以 TensorIKKBZ 为种子）在 FTPS 和分层 Tucker（HT）网络中，收缩代价均比 ctg.Hyper-Par 低近一个数量级，表现持续更优。
• 由于高效的 C++ 实现和有利的时间复杂度，TensorIKKBZ 和 LinDP 即使在并行化条件下，也显著快于 ctg.Hyper-Par。
• TensorIKKBZ 的最优线性收缩顺序为启发式优化提供了稳健的起点，使一般张量网络中可实现近似最优结果。
• 该方法已公开发布，并已集成至 opt_einsum 和 cotengra，展示了其实际适用性与可扩展性。