[论文解读] Recursive Method for the Solution of Systems of Linear Equations

Gennadi Malaschonok|arXiv (Cornell University)|Mar 29, 2017

Algebraic and Geometric Analysis参考文献 2被引用 3

一句话总结

本文提出了一种在交换整环上求解线性方程组的递归算法，其计算复杂度与矩阵乘法相同，具体为 $O(n^{\text{矩阵乘法的指数}})$。该方法通过递归划分和基于行列式的约化，将系数矩阵转化为对角形式，从而在角落主子式非零且非零因子时，通过克莱姆法则以最少的算术运算实现高效求解。

ABSTRACT

New solution method for the systems of linear equations in commutative integral domains is proposed. Its complexity is the same that the complexity of the matrix multiplication.

研究动机与目标

• 开发一种在交换整环上求解线性方程组的方法，使其复杂度与矩阵乘法相同。
• 通过将前向/后向代入法和单遍算法统一于递归框架下，推广现有方法。
• 通过利用递归分解和行列式算术，将求解线性方程组的计算复杂度从 $O(n^3)$ 降低到与矩阵乘法相同的渐近阶。
• 确保在任意交换环中适用，仅需满足角落主子式非零且非零因子。

提出的方法

• 该算法将系数矩阵递归地划分为上、下两个子矩阵，并对各部分应用递归约化。
• 通过使用 minors $\delta^{k} = \det \mathbf{A}_{kk}^{k}$ 和余子式矩阵 $\delta^{k}_{ij}$ 进行递归行列式计算，以在变换过程中保持结构不变性。
• 一个关键恒等式 $\delta^{k} \cdot \hat{A}_{2}^{2} = \delta^{s} \cdot A_{2}^{2} - A_{1}^{2} \cdot G_{2}^{1}$ 允许在保持行列式结构的同时变换下部块。
• 该方法将矩阵约化为对角形式 $\tilde{A} \rightarrow (\delta^{l}I_{l-k}, \hat{G})$，其中 $\delta^{l}$ 为前导主子式，$\hat{G}$ 包含广义余子式。
• 递归步骤持续应用直至整个矩阵被约化，最终解通过使用计算出的主子式和余子式矩阵的克莱姆法则得出。
• 该算法支持前向/后向代入（当划分仅为单行时）和分治划分（以实现与矩阵乘法复杂度匹配的最优性能）。

实验结果

研究问题

• RQ1 能否设计一种递归算法，使在整环上求解线性方程组的渐近复杂度与矩阵乘法相同？
• RQ2 如何将线性方程组的求解统一于单一递归框架下，以推广单遍法和前向/后向法？
• RQ3 何种递归分解策略可确保求解线性方程组的复杂度与矩阵乘法匹配？
• RQ4 在何种环和矩阵结构条件下，该算法仍保持有效且高效？

主要发现

• 该算法实现了与矩阵乘法相同的计算复杂度，具体为使用斯特拉森算法时的 $O(n^{\log_2 7})$，显著优于经典 $O(n^3)$ 复杂度。
• 当 $n = 2^p$ 且 $m = n+1$ 时，乘法/除法操作次数为 $MD^{S}_{n,n+1} = \frac{7}{15}n^{\log_2 7} + n^2(\log_2 n - \frac{2}{3}) + n(2\log_2 n + \frac{1}{5})$，表现出接近最优的扩展性。
• 该方法推广了单遍法和前向/后向代入法：当划分仅为单行时，其退化为这些已知技术。
• 解通过使用计算出的主子式 $\delta^n$ 和余子式矩阵 $G$ 的克莱姆法则得出，最终系统表示为 $\delta^n I_n$ 和 $\hat{G}$。
• 只要所有角落主子式 $\delta^k$ 非零且非零因子，该算法在任意交换整环中均有效。
• 在 $\mathbb{Z}$ 上的数值示例验证了正确性：对于一个 $4 \times 4$ 方程组，该算法将矩阵约化为对角形式，其中 $\delta^4 = 27$，得到解向量 $x = (1, 2, -2, -1)^T$。