[论文解读] On the Globalization of ASPIN Employing Trust-Region Control Strategies -- Convergence Analysis and Numerical Examples

Christian Groß, Rolf Krause|arXiv (Cornell University)|Apr 12, 2021

Matrix Theory and Algorithms参考文献 18被引用 5

一句话总结

本文提出了一种全局收敛的并行非线性优化方法——G-ASPIN，通过将ASPIN（加性预条件不精确牛顿法）嵌入信赖域框架中实现。该方法通过使用次级信赖域半径控制非线性预条件的影响，确保收敛性，同时支持异步本地求解并保持充分下降。在使用数千个核心的大规模非线性弹性问题上，该方法相较于标准信赖域方法实现了显著的加速。

ABSTRACT

The parallel solution of large scale non-linear programming problems, which arise for example from the discretization of non-linear partial differential equations, is a highly demanding task. Here, a novel solution strategy is presented, which is inherently parallel and globally convergent. Each global non-linear iteration step consists of asynchronous solutions of local non-linear programming problems followed by a global recombination step. The recombination step, which is the solution of a quadratic programming problem, is designed in a way such that it ensures global convergence. As it turns out, the new strategy can be considered as a globalized additively preconditioned inexact Newton (ASPIN) method. However, in our approach the influence of ASPIN's non-linear preconditioner on the gradient is controlled in order to ensure a sufficient decrease condition. Two different control strategies are described and analyzed. Convergence to first-order critical points of our non-linear solution strategy is shown under standard trust-region assumptions. The strategy is investigated along difficult minimization problems arising from non-linear elasticity in 3D solved on a massively parallel computer with several thousand cores.

研究动机与目标

• 开发一种用于由偏微分方程离散化产生的大规模非线性规划问题的全局收敛、内在并行的方法。
• 解决原始ASPIN方法缺乏全局收敛保证的问题，该方法仅在初始值足够接近时保证局部收敛。
• 在保持全局收敛性的同时，实现高效且异步的本地子问题求解，通过信赖域控制实现。
• 设计一种控制非线性预条件对梯度影响的机制，确保目标函数充分下降。

提出的方法

• 该方法将ASPIN的牛顿步解释为一个扰动二次规划模型的一阶条件，从而实现信赖域的全局化。
• 通过一个次级、局部的信赖域半径控制非线性预条件器对梯度的影响，确保扰动相对于信赖域大小保持有界。
• 提出了两种计算满足扰动控制准则的预条件梯度的策略：一种改进的局部信赖域方法和一种阻尼方法。
• 通过使用预条件梯度求解信赖域子问题来计算全局校正，确保充分下降和全局收敛。
• 本地非线性子问题异步且并行求解，通过一个全局二次规划步骤进行重组。
• 该框架嵌入在信赖域算法中，利用标准收敛假设，无需凸性条件。

实验结果

研究问题

• RQ1 ASPIN方法能否在保持其并行性和异步性的同时实现全局推广？
• RQ2 如何控制非线性预条件对梯度的影响，以确保充分下降和全局收敛？
• RQ3 在本地求解因异步计算导致梯度被扰动时，可采用哪些信赖域策略来维持收敛性？
• RQ4 在大规模非线性问题上，该方法与标准信赖域方法相比，在效率和鲁棒性方面表现如何？
• RQ5 该方法能否在大规模并行架构上实现显著加速，同时不牺牲收敛性？

主要发现

• 在标准信赖域假设下，G-ASPIN方法可全局收敛至一阶最优解点，且无需凸性条件。
• 在包含828,864个未知数的3D非线性弹性问题上，G-ASPIN将总计算时间从3,323.96秒（信赖域方法）减少至32核上的2,576.61秒。
• 在64核上，G-ASPIN进一步将时间减少至2,211.23秒，尽管本地阶段的线性求解时间更高，但仍优于信赖域方法的1,805.94秒。
• 在非线性迭代次数方面，该方法表现出更快的收敛速度，且随着处理器数量的增加，迭代次数显著减少，表明其具有更好的可扩展性。
• 数值结果证实，G-ASPIN收敛至与信赖域方法相同的最小值，验证了其准确性和鲁棒性。
• 使用次级信赖域半径能有效控制异步本地求解引起的梯度扰动，从而实现稳定且高效的全局收敛。