[论文解读] Symmetries of matrix multiplication algorithms. I

V. P. Burichenko|arXiv (Cornell University)|Aug 5, 2015

Tensor decomposition and applications参考文献 23被引用 11

一句话总结

本文提出了一种基于对称性的框架，通过识别其自同构群来分析和分类快速矩阵乘法算法。证明了霍普克罗夫特算法的自同构群同构于 $S_3 \times Z_2$，而拉德曼算法的自同构群同构于 $S_4$，表明利用此类对称性可能通过类比编码理论和格点中的优化方法，指导发现更快速的算法。

ABSTRACT

In this work the algorithms of fast multiplication of matrices are considered. To any algorithm there associated a certain group of automorphisms. These automorphism groups are found for some well-known algorithms, including algorithms of Hopcroft, Laderman, and Pan. The automorphism group is isomorphic to $S_3 imes Z_2$ and $S_4$ for Hopcroft anf Laderman algorithms, respectively. The studying of symmetry of algorithms may be a fruitful idea for finding fast algorithms, by an analogy with well-known optimization problems for codes, lattices, and graphs. {\em Keywords}: Strassen algorithm, symmetry, fast matrix multiplication.

研究动机与目标

• 研究已知快速矩阵乘法算法的自同构群，以揭示隐藏的结构对称性。
• 建立一个正式框架，将张量分解中的对称性与矩阵乘法中的算法效率联系起来。
• 探讨是否可以将基于对称性的优化方法——类似于编码理论和格设计中使用的方法——应用于发现更快的矩阵乘法算法。
• 提供一个自包含的张量形式与双线性形式下的矩阵乘法算法阐述，使读者能够独立研究对称性方法。

提出的方法

• 将矩阵乘法算法表示为域 $K$ 上自由结合代数中的张量，使用三组矩阵 $a_l, b_l, c_l$ 编码双线性运算。
• 将长度为 $r$ 的非交换算法定义为满足张量恒等式的一组 $r$ 个三元组 $(a_l, b_l, c_l)$，以确保矩阵乘积计算的正确性。
• 引入自同构群 $\mathrm{Aut}(\mathcal{H})$ 的概念，即在基变换下保持算法张量结构不变的变换群。
• 应用群论技术，包括通过张量变换 $T(\sigma, b, c)$ 的共轭，分析算法基向量的对称性。
• 使用张量投影 $\mathrm{tpr}_D$、$\mathrm{tpr}_{D'}$ 和 $\mathrm{tpr}_{E}$ 限制自同构在子空间上的作用，从而对标量对称性和置换对称性进行分类。
• 通过 $\tau$-共轭的提升论证，将张量空间上的自同构与底层向量空间上的变换联系起来，证明只有标量和置换作用能保持结构不变。

实验结果

研究问题

• RQ1 霍普克罗夫特矩阵乘法算法的自同构群是什么？它与其他已知算法的自同构群相比如何？
• RQ2 是否可以使用群论方法系统地分析和分类快速矩阵乘法算法的对称结构？
• RQ3 基于对称性的不变性原理在多大程度上可以指导新、更快的矩阵乘法算法的构建？
• RQ4 拉德曼算法的对称性与霍普克罗夫特算法的对称性有何不同？这对它们的底层代数结构意味着什么？
• RQ5 矩阵乘法算法的自同构群能否作为验证或发现算法等价性的工具？

主要发现

• 霍普克罗夫特矩阵乘法算法的自同构群同构于 $S_3 \times Z_2$，表明其具有高度对称的结构。
• 拉德曼算法的自同构群同构于 $S_4$，反映出其对称配置比霍普克罗夫特算法更为复杂。
• 分析表明，任何保持算法张量结构的自同构必须通过基向量的标量倍数和置换作用实现，此结论由张量投影的不变性所证明。
• 变换 $g = T(\widetilde{\sigma}, b, c)$，其中 $\widetilde{\sigma} \in S_3$，可生成完整的自同构群，从而确认了群结构 $S_3 \times Z_2$。
• 证明表明，任何形如 $T(1, b_2, c_2)$ 且保持算法不变的自同构必须是平凡的（即 $g_2 = 1$），意味着仅允许标量和置换对称性。
• 该框架通过张量投影与群作用成功对称性进行了分类，提供了一套严谨的方法以分析和比较算法对称性。