[论文解读] Optimal parameter for the SOR-like iteration method for solving the system of absolute value equations

Cairong Chen, Dongmei Yu+1 more|arXiv (Cornell University)|Jan 16, 2020

Advanced Optimization Algorithms Research参考文献 26被引用 10

一句话总结

本文提出了一种用于求解绝对值方程（AVEs）的 SOR-like 方法的最优迭代参数，该参数最小化了迭代矩阵的 2-范数。与先前方法不同，该最优参数与迭代过程无关，并在 $\|A^{-1}\|_2 < 1$ 的条件下通过解析推导得出，相较于以往的近似参数以及广义牛顿法，在测试案例中表现出更快的收敛速度和更优的 CPU 性能。

ABSTRACT

The SOR-like iteration method for solving the absolute value equations~(AVE) of finding a vector $x$ such that $Ax - |x| - b = 0$ with $ν= \|A^{-1}\|_2 &lt; 1$ is investigated. The convergence conditions of the SOR-like iteration method proposed by Ke and Ma ([{\em Appl. Math. Comput.}, 311:195--202, 2017]) are revisited and a new proof is given, which exhibits some insights in determining the convergent region and the optimal iteration parameter. Along this line, the optimal parameter which minimizes $\|T_ν(ω)\|_2$ with $$T_ν(ω) = \left(\begin{array}{cc} |1-ω| &amp; ω^2ν\\ |1-ω| &amp; |1-ω| +ω^2ν\end{array} ight)$$ and the approximate optimal parameter which minimizes $η_ν(ω) =\max\{|1-ω|,νω^2\}$ are explored. The optimal and approximate optimal parameters are iteration-independent and the bigger value of $ν$ is, the smaller convergent region of the iteration parameter $ω$ is. Numerical results are presented to demonstrate that the SOR-like iteration method with the optimal parameter is superior to that with the approximate optimal parameter proposed by Guo, Wu and Li ([{\em Appl. Math. Lett.}, 97:107--113, 2019]). In some situation, the SOR-like itration method with the optimal parameter performs better, in terms of CPU time, than the generalized Newton method (Mangasarian, [{\em Optim. Lett.}, 3:101--108, 2009]) for solving the AVE.

研究动机与目标

• 重新审视并重新证明用于求解绝对值方程（AVEs）的 SOR-like 迭代方法的收敛条件。
• 推导出能最小化 $\|T_\nu(\omega)\|_2$ 的最优迭代参数 $\omega$，以确保 SOR-like 方法的最快收敛速率。
• 提出一种近似最优参数，通过最小化 $\eta_\nu(\omega) = \max\{|1-\omega|, \nu\omega^2\}$ 实现，具有更高的计算效率。
• 通过数值实验表明，所提出的最优参数在 CPU 时间方面优于 Guo 等人提出的近似参数以及广义牛顿法。
• 证明最优参数与近似最优参数均与迭代序列无关，避免了每一步的昂贵重新计算。

提出的方法

• 使用一种新证明方法重新审视 AVEs 的 SOR-like 迭代方法的收敛性分析，揭示了收敛区域与最优参数选择的内在机制。
• 推导出能最小化 $\|T_\nu(\omega)\|_2$ 的最优参数 $\omega$，其中 $T_\nu(\omega)$ 是依赖于 $\omega$ 和 $\nu = \|A^{-1}\|_2$ 的 $2\times2$ 矩阵。
• 通过最小化 $\eta_\nu(\omega) = \max\{|1-\omega|, \nu\omega^2\}$ 提出一种近似最优参数，该参数计算更简便且仍具有效性。
• 分析收敛区域对 $\nu$ 的依赖关系，表明 $\nu$ 越大，$\omega$ 的有效范围越小。
• 采用矩阵迭代框架，其中迭代矩阵定义为 $T_\nu(\omega) = \begin{pmatrix} |1-\omega| & \omega^2\nu \\ |1-\omega| & |1-\omega| + \omega^2\nu \end{pmatrix}$，并推导出 $\|T_\nu(\omega)\|_2 < 1$ 以保证收敛的条件。
• 在测试问题上通过数值实验验证了理论结果，将性能与广义牛顿法及先前的近似参数进行了比较。

实验结果

研究问题

• RQ1 对于 AVEs 的 SOR-like 方法，最小化 $\|T_\nu(\omega)\|_2$ 的最优迭代参数 $\omega$ 是什么？
• RQ2 收敛区域对 $\omega$ 的依赖关系如何随 $\nu = \|A^{-1}\|_2$ 变化？
• RQ3 能否推导出一种与迭代无关的最优参数，以确保其收敛速度优于依赖迭代或近似参数的方法？
• RQ4 所提出的最优参数在 CPU 时间方面，与广义牛顿法相比，SOR-like 方法的性能如何？
• RQ5 新收敛性证明的理论依据是什么，它如何揭示了对参数选择的更深层次理解？

主要发现

• 推导出最小化 $\|T_\nu(\omega)\|_2$ 的最优参数为与迭代无关的值，确保了 AVEs 的 SOR-like 方法的最快收敛速率。
• 随着 $\nu = \|A^{-1}\|_2$ 增大，$\omega$ 的收敛区域缩小，表明 $A^{-1}$ 的病态性会减小 $\omega$ 的可允许范围。
• 数值结果表明，使用所提出的最优参数的 SOR-like 方法在收敛速度和 CPU 时间方面均优于 Guo 等人提出的近似参数。
• 在某些测试案例中，使用最优参数的 SOR-like 方法在 CPU 性能方面优于广义牛顿法，尤其在大规模问题中表现更优。
• 新收敛性证明为迭代矩阵的结构以及 $\omega$ 在控制收敛行为中的作用提供了更深入的洞察。
• 通过最小化 $\eta_\nu(\omega) = \max\{|1-\omega|, \nu\omega^2\}$ 推导出的近似最优参数，在某些场景下比 Guo 等人提出的参数更有效。