[论文解读] Solving Linear System of Equations Via A Convex Hull Algorithm

Bahman Kalantari|arXiv (Cornell University)|Oct 29, 2012

Advanced Optimization Algorithms Research参考文献 14被引用 5

一句话总结

本文提出两种新颖的迭代算法，通过将线性系统 $Ax = b$ 重新表述为使用三角形算法的凸包成员判定问题，以求解该系统。该方法实现了 $O(n^2 \rho^{-2})$ 的复杂度界，用于 $\rho$-近似解，为传统迭代法与直接法提供了一种无需依赖矩阵结构的新方法，具有坚实的理论保证，并展现出良好的实际可扩展性潜力。

ABSTRACT

We present new iterative algorithms for solving a square linear system $Ax=b$ in dimension $n$ by employing the {\it Triangle Algorithm} \cite{kal12}, a fully polynomial-time approximation scheme for testing if the convex hull of a finite set of points in a Euclidean space contains a given point. By converting $Ax=b$ into a convex hull problem and solving via the Triangle Algorithm, together with a {\it sensitivity theorem}, we compute in $O(n^2ε^{-2})$ arithmetic operations an approximate solution satisfying $\Vert Ax_ε- b \Vert \leq ερ$, where $ρ= \max \{\Vert a_1 \Vert,..., \Vert a_n \Vert, \Vert b \Vert \}$, and $a_i$ is the $i$-th column of $A$. In another approach we apply the Triangle Algorithm incrementally, solving a sequence of convex hull problems while repeatedly employing a {\it distance duality}. The simplicity and theoretical complexity bounds of the proposed algorithms, requiring no structural restrictions on the matrix $A$, suggest their potential practicality, offering alternatives to the existing exact and iterative methods, especially for large scale linear systems. The assessment of computational performance however is the subject of future experimentations.

研究动机与目标

• 开发适用于大规模线性系统求解的新迭代方法，且无需对系数矩阵施加结构性假设。
• 利用三角形算法——一种凸包成员判定的全多项式时间近似方案——作为求解线性系统的计算核心引擎。
• 为 $Ax = b$ 的近似解提供理论复杂度界，明确以 $\rho = \max\{\|a_i\|, \|b\|\}$ 表示的误差控制。
• 探索几何算法在数值线性代数中的潜力，为经典迭代法与直接求解器提供替代方案。

提出的方法

• 通过将 $A$ 的列向量与 $-b$ 嵌入高维空间，将线性系统 $Ax = b$ 重新表述为凸包成员判定问题。
• 应用三角形算法测试原点是否位于变换后点集的凸包内部，以 $O(n^2 \epsilon^{-2})$ 次运算计算 $\epsilon$-近似解。
• 利用灵敏度定理，以 $\rho$ 为参数界定向近似解的误差，确保 $\|Ax_\epsilon - b\| \leq \epsilon \rho$。
• 实现三角形算法的增量变体，逐步增加参数 $t$，利用距离对偶性与见证检测引导收敛过程。
• 采用基于见证的策略检测不可行性，并引导搜索路径逼近解，避免依赖对解范数的先验估计。
• 在一种变体中使用二次优化精炼解路径，而增量版本则为保持计算简洁而避免此类优化。

实验结果

研究问题

• RQ1 三角形算法在凸包成员判定中的应用能否被有效重用于求解线性方程组？
• RQ2 采用该几何方法求解 $Ax = b$ 的理论复杂度是多少？与经典迭代方法相比有何差异？
• RQ3 该方法能否在不依赖矩阵条件数或结构性假设的前提下实现 $\epsilon$-近似解？
• RQ4 该算法的增量版本如何在缺乏解范数先验知识的情况下确保收敛？
• RQ5 距离对偶性与见证检测在引导迭代搜索过程中的作用是什么？

主要发现

• 所提算法在 $O(n^2 \epsilon^{-2})$ 次算术运算内计算出 $Ax = b$ 的 $\epsilon$-近似解，且满足 $\|Ax_\epsilon - b\| \leq \epsilon \rho$。
• 该方法对矩阵 $A$ 无结构性假设要求，适用于一般、稠密或稀疏系统。
• 算法的增量变体避免了对解范数的先验估计，并以保守方式逐步增加 $t$，确保最终收敛。
• 算法性能受理论复杂度界约束，且实际性能可能优于最坏情况下的复杂度界。
• 使用三角形算法使线性系统求解过程具有清晰的几何解释，将线性代数与凸几何紧密联系。
• 该方法易于并行化，且可与现有迭代求解器结合，展现出混合算法的潜力。