[论文解读] Secant acceleration of sequential residual methods for solving large-scale nonlinear systems of equations

Ernesto G. Birgin, J. M. Martı́nez|arXiv (Cornell University)|Dec 24, 2020

Advanced Optimization Algorithms Research参考文献 51被引用 4

一句话总结

本文提出了一种加速版的DF-SANE算法，通过将基于割线的加速技术融入序列残差方法，以求解大规模非线性方程组。该方法通过利用历史迭代值改善收敛性，显著减少了迭代次数和计算时间，尤其在处理困难问题时效果显著，与NITSOL相比，在高条件数的3D Bratu问题上实现了高达十倍的加速。

ABSTRACT

Sequential Residual Methods try to solve nonlinear systems of equations $F(x)=0$ by iteratively updating the current approximate solution along a residual-related direction. Therefore, memory requirements are minimal and, consequently, these methods are attractive for solving large-scale nonlinear systems. However, the convergence of these algorithms may be slow in critical cases; therefore, acceleration procedures are welcome. In this paper, we suggest to employ a variation of the Sequential Secant Method in order to accelerate Sequential Residual Methods. The performance of the resulting algorithm is illustrated by applying it to the solution of very large problems coming from the discretization of partial differential equations.

研究动机与目标

• 为解决在频繁回溯时序列残差方法（SRM）在大规模非线性系统中收敛缓慢的问题。
• 开发一种高效的加速技术，最小化残差评估次数和内存使用量，同时提升收敛速度。
• 将DF-SANE的全局收敛理论扩展至包含基于残差相关方向的割线加速方法。
• 在大规模PDE离散化问题上评估性能，特别是在标准方法表现困难的高条件数区域。
• 与NITSOL和标准DF-SANE在迭代次数、函数评估次数和CPU时间方面进行比较。

提出的方法

• 提出一种广义的序列残差方法，允许使用非残差但与残差相关的搜索方向，提升灵活性和收敛性。
• 应用多点割线方法，利用历史迭代值和残差差值近似逆雅可比矩阵，减少对精确雅可比矩阵计算的需求。
• 采用可变记忆割线更新策略，参数$ p $控制用于近似的过去迭代值数量。
• 使用满足充分下降条件的线搜索以确保全局收敛，同时最小化函数评估次数。
• 基于谱（类似Barzilai-Borwein）原理实现动态步长选择，以在早期迭代中提升收敛性。
• 将加速机制整合进DF-SANE框架，形成加速版DF-SANE，并将理论收敛性保证扩展至新变体。

实验结果

研究问题

• RQ1 基于割线的加速是否能显著减少大规模非线性系统中序列残差方法的迭代次数和函数评估次数？
• RQ2 在困难的PDE离散化问题上，加速方法与NITSOL和标准DF-SANE相比性能如何？
• RQ3 记忆参数$ p $对加速方法的收敛速度和计算成本有何影响？
• RQ4 该加速技术是否在提升局部收敛速率的同时保持全局收敛性？
• RQ5 当Bratu问题中的$ \theta $为负且绝对值较大时，该方法在病态条件问题上的表现如何？

主要发现

• 在$ n_p = 40 $且$ \theta = -100 $的3D Bratu问题上，加速版DF-SANE的CPU时间比NITSOL快约一个数量级，分别在1000秒内收敛，而NITSOL耗时超过10000秒。
• 当$ \theta \geq -20 $时，两种方法表现相近，NITSOL略快；但当$ \theta < -20 $时，加速版DF-SANE展现出明显优势，尤其在高条件数区域。
• 随着$ p $从3增加到17，加速版DF-SANE的迭代次数几乎保持不变，变化幅度不超过20%。
• 每轮迭代的CPU时间随$ p $增加而上升，实测线性拟合为$ L(p) \approx 4.08 + 1.01p $，表明从$ p=3 $到$ p=17 $，时间成本增加约300%。
• 在最困难的实例（$ \theta = -100 $）中，DF-SANE在数小时内无法收敛，而加速版DF-SANE在1000秒内达到停止准则。
• 在困难问题上，加速版DF-SANE的函数评估次数始终低于NITSOL，证实尽管单次迭代成本更高，但评估开销更低。