[论文解读] The geometry of rank decompositions of matrix multiplication II: $3 imes 3$ matrices

Grey Ballard, Christian Ikenmeyer+2 more|arXiv (Cornell University)|Jan 2, 2018

Tensor decomposition and applications参考文献 6被引用 3

一句话总结

本文提出了 $3\times3$ 矩阵乘法张量 $M_{\langle 3\rangle}$ 的新型秩 23 分解，具有增强的对称性，包括一种包含 11 个立方项且对称群阶为 12 的新分解。作者开发了识别分解对称群和等价类的方法，利用表示理论和不变量理论来指导在高维空间中寻找结构化、对称的秩分解。

ABSTRACT

This is the second in a series of papers on rank decompositions of the matrix multiplication tensor. We present new rank $23$ decompositions for the $3 imes 3$ matrix multiplication tensor $M_{\langle 3 angle}$. All our decompositions have symmetry groups that include the standard cyclic permutation of factors but otherwise exhibit a range of behavior. One of them has 11 cubes as summands and admits an unexpected symmetry group of order 12. We establish basic information regarding symmetry groups of decompositions and outline two approaches for finding new rank decompositions of $M_{\langle n angle}$ for larger $n$.

研究动机与目标

• 发现尊重标准循环 $\mathbb{Z}_3$-对称性的 $3\times3$ 矩阵乘法张量 $M_{\langle 3\rangle}$ 的新秩 23 分解。
• 开发系统性技术，用于识别秩分解的对称群，并确定两个分解何时等价。
• 建立一个使用表示理论的框架，以指导对更大 $\mathbf{n}$ 的 $M_{\langle \mathbf{n} \rangle}$ 构造新的秩分解。
• 探索张量空间 $ (\mathbb{C}^{n^2})^{{\otimes}3} $ 中 $\mathbb{Z}_{n+1}$-不变子空间的几何与代数结构，特别是当 $n=3$ 时。
• 研究对称性在最小化张量秩中的作用，并解释为何数值方法可能因收敛到边界秩解而无法找到最优分解。

提出的方法

• 利用代数几何和表示理论分析 $M_{\langle 3\rangle}$ 的分解空间，重点关注 $\mathbb{Z}_3$-不变分量。
• 使用特征值分析和相关线性算子的特征多项式，以区分分解族并检测对称性。
• 应用不变量理论，将张量空间 $ (\mathbb{C}^{n^2})^{{\otimes}3} $ 分解为 $\mathbb{Z}_{n+1} \times \mathbb{Z}_3$ 作用下的不可约表示，计算不变子空间的维数。
• 实施数值搜索方法（如交替最小二乘法），并施加对称性约束，以缩小搜索空间并引导收敛至对称秩分解。
• 利用射影几何将分解解释为 $\mathbb{P}^{n-1}$ 中点的构型，从而实现对不同分解的几何比较。
• 通过组合对称基块（如对称和反对称张量）构造显式分解，并利用迹恒等式验证其正确性。

实验结果

研究问题

• RQ1 秩 23 的 $M_{\langle 3\rangle}$ 分解的对称群是什么？它们与标准循环 $\mathbb{Z}_3$-对称性有何关系？
• RQ2 能否构造出比以往已知的更大地保持对称性的新秩 23 分解？
• RQ3 如何代数地确定两个秩分解的等价性，特别是当它们仅通过坐标变换不同？
• RQ4 $ (\mathbb{C}^{n^2})^{{\otimes}3} $ 中 $\mathbb{Z}_{n+1} \times \mathbb{Z}_3$-不变张量的空间结构是什么？其随 $n$ 的变化如何？
• RQ5 为何张量分解的数值方法常收敛到边界秩 22 的解而非秩 22 的解？对称性如何帮助克服这一问题？

主要发现

• 作者提出了 $M_{\langle 3\rangle}$ 的三个新秩 23 分解，全部保持标准循环 $\mathbb{Z}_3$-对称性，解决了先前研究中的一个空白。
• 其中一个分解包含 11 个立方项，并具有阶为 12 的对称群，这是对以往已知对称分解的出乎意料且显著的增强。
• $ (\mathbb{C}^9)^{{\otimes}3} $ 中 $\mathbb{Z}_4 \times \mathbb{Z}_3$-不变张量的空间维数为 10，而 $n=3$ 时 $\mathbb{Z}_4 \times \mathbb{Z}_3$-不变子空间的维数为 63。
• 当 $n=4$ 时，$ (\mathbb{C}^{16})^{{\otimes}3} $ 中 $\mathbb{Z}_5 \times \mathbb{Z}_3$-不变子空间的维数为 276，远小于全空间的维数 4096。
• 作者通过关联矩阵的特征多项式识别出三类不同的分解族，其对称型、循环型和三重特征值型的计数分别为 6、4 和 1。
• 本研究证实，对称性是张量分解中的强大引导工具：施加 $\mathbb{Z}_3$-不变性可显著缩小搜索空间，并提高找到最优或近似最优分解的可能性。