[论文解读] Multiple local minima of PDE-constrained optimisation problems via deflation

Patrick E. Farrell|arXiv (Cornell University)|Aug 30, 2015

Matrix Theory and Algorithms被引用 1

一句话总结

本文提出了一种降维技术，通过修改卡鲁什-库恩-塔克（Karush-Kuhn-Tucker, KKT）条件以排除先前找到的解，从而在PDE约束的非凸优化问题中计算多个局部极小值。研究证明，使用可扩展的舒尔补预条件子时，牛顿迭代步骤中的Krylov迭代次数最多仅增加两倍，从而实现了在具有多达一千万自由度的大规模问题上的高效计算。

ABSTRACT

Nonconvex optimisation problems constrained by partial differential equations (PDEs) may permit distinct local minima. In this paper we present a numerical technique, called deflation, for computing multiple local solutions of such optimisation problems. The basic approach is to apply a nonlinear transformation to the Karush-Kuhn-Tucker optimality conditions that eliminates previously found solutions from consideration. Starting from some initial guess, Newton's method is used to find a stationary point of the Lagrangian; this solution is then deflated away, and Newton's method is initialised from the same initial guess to find other solutions. In this paper, we investigate how the Schur complement preconditioners widely used in PDE-constrained optimisation perform after deflation. We prove an upper bound on the number of new distinct eigenvalues of a matrix after an arbitrary additive perturbation; from this it follows that for diagonalisable operators the number of Krylov iterations required for exact convergence of the Newton step at most doubles compared to the undeflated problem. While deflation is not guaranteed to converge to all minima, these results indicate the approach scales to arbitrary-dimensional problems if a scalable Schur complement pre-conditioner is available. The technique is demonstrated on a discretised nonconvex PDE-constrained optimisation problem with approximately ten million degrees of freedom.

研究动机与目标

• 解决非凸PDE约束优化问题中多个局部极小值的挑战。
• 开发一种数值方法，系统性地定位标准求解器首次找到解之后的其他独立局部解。
• 分析在牛顿迭代背景下应用降维后舒尔补预条件子的性能。
• 建立降维后条件数与Krylov收敛行为的理论界。
• 在具有约一千万自由度的大规模问题上展示该方法的可扩展性。

提出的方法

• 对卡鲁什-库恩-塔克（KKT）系统应用非线性降维变换，以排除先前计算出的解。
• 在每次降维步骤后，使用相同的初始猜测重新启动牛顿法，以收敛到新的驻点。
• 采用常用于PDE约束优化中的舒尔补预条件子，以在大规模问题中保持效率。
• 推导出任意加法矩阵扰动引入的新不同特征值数量的上界。
• 证明牛顿步骤中实现精确收敛所需的Krylov迭代次数在降维后最多仅增加两倍。
• 将该方法应用于一个具有约1000万自由度的离散化非凸PDE约束优化问题，以验证其可扩展性。

实验结果

研究问题

• RQ1 降维能否有效应用于PDE约束优化问题，以计算多个局部极小值？
• RQ2 降维如何影响大规模问题中牛顿迭代下Krylov求解器的收敛特性？
• RQ3 降维对雅可比系统谱的理论影响是什么，特别是对特征值变化的影响？
• RQ4 在应用降维后，舒尔补预条件子是否仍保持有效性？
• RQ5 该方法在具有极大自由度（如一千万）的问题上可扩展到何种程度？

主要发现

• 降维成功实现了在非凸PDE约束优化问题中计算多个不同局部极小值。
• 即使对于可对角化算子，牛顿步骤中实现精确收敛所需的Krylov迭代次数最多仅增加两倍。
• 任意加法扰动后新不同特征值数量的理论上限支持了该方法的鲁棒性。
• 舒尔补预条件子在降维后仍保持有效性，从而为大规模问题保留了可扩展性。
• 该方法成功应用于具有约一千万自由度的问题，展示了其实际可扩展性。
• 尽管不能保证找到所有极小值，但该方法在结合可扩展预条件子时表现出高效且可扩展。