[论文解读] The tensor rank of 5x5 matrices multiplication is bounded by 98 and its border rank by 89

Alexandre Sedoglavic, Alexey Smirnov|arXiv (Cornell University)|Jan 29, 2021

Algorithms and Data Compression参考文献 19被引用 5

一句话总结

本文提出一种新的非交换算法，用于5×5矩阵乘法，仅需98次乘法，从而将张量秩的上界确立为98。此外，还提出一种近似算法，仅需89次乘法，得出边界秩的上界为89，显著优于以往的界限，推动了对小矩阵乘法复杂度的理解。

ABSTRACT

We present a non-commutative algorithm for the product of 3x5 by 5x5 matrices using 58 multiplications. This algorithm allows to construct a non-commutative algorithm for multiplying 5x5 (resp. 10x10, 15x15) matrices using 98 (resp. 686, 2088) multiplications. Furthermore, we describe an approximate algorithm that requires 89 multiplications and computes this product with an arbitrary small error.

研究动机与目标

• 改进5×5矩阵乘法的张量秩与边界秩的已知上界。
• 开发一种显式非交换算法，用于3×5乘以5×5矩阵乘法，仅使用58次乘法。
• 构建一种5×5矩阵乘法的近似算法，实现边界秩为89，且误差可任意小。
• 通过张量积分解方法，将结果推广至更大的矩阵尺寸，如10×10和15×15。
• 通过识别最优原子张量构造，为高效矩阵乘法算法数据库做出贡献。

提出的方法

• 作者基于双线性形式的精细张量分解，构建了一种用于3×5 × 5×5矩阵乘法的非交换算法，仅使用58次乘法。
• 将该算法嵌入递归张量积结构中，推导出一种5×5×5矩阵乘法方案，共需98次乘法。
• 设计一种近似算法，使用含小参数ε的参数化张量，当ε→0时可恢复精确矩阵乘积。
• 该近似方案由89项构成，每项均为ε的有理函数，且证明其在ε→0时收敛于真实矩阵乘积。
• 该构造利用了先前工作的已知结果，特别是Smirnov在2013年提出的算法，通过更小的原子组件构建高阶张量。
• 边界秩上界通过将近似张量与已知的3×3×3和2×3×3乘积的小秩张量结合推导得出。

实验结果

研究问题

• RQ1 使用非交换算法计算两个5×5矩阵乘积时，最少需要多少次乘法？
• RQ2 能否构造一种5×5矩阵乘法的近似算法，其乘法次数少于精确算法？其最小项数是多少？
• RQ3 新得到的5×5矩阵乘法的张量秩与边界秩上界与现有理论下界相比如何？
• RQ4 这些新上界对更大矩阵乘法的渐近复杂度有何影响？
• RQ5 新提出的3×5×5算法能否用于构建10×10和15×15矩阵乘法的更高效张量分解？

主要发现

• 5×5矩阵乘法的张量秩上界被确定为98，优于以往已知的上界。
• 5×5矩阵乘法的边界秩上界被确定为89，显著收紧了已知的上界。
• 显式构造了一种仅使用58次乘法的3×5 × 5×5矩阵乘法非交换算法。
• 提出一种使用89次乘法的5×5矩阵乘法近似算法，当ε→0时可实现任意精度的乘积计算。
• 新提出的3×5×5算法使10×10和15×15矩阵乘法的上界分别改进为686次和2088次乘法。
• 结果表明，最高效的张量分解并不总是最直观的构造方式，因为其他构造方式可获得低于标准张量积的秩。