[论文解读] Taylor approximation for chance constrained optimization problems governed by partial differential equations with high-dimensional random parameters

Peng Chen, Omar Ghattas|arXiv (Cornell University)|Nov 19, 2020

Probabilistic and Robust Engineering Design参考文献 79被引用 4

一句话总结

本论文提出了一种基于泰勒近似的可扩展方法，用于求解具有高维随机参数的随机约束偏微分方程（PDE）约束优化问题。通过利用高阶泰勒展开、随机化海森矩阵近似以及带有光滑惩罚法的延续优化方案，该方法将PDE求解次数最多减少37倍，同时保持高精度，在地下水管理测试中展示了高达100,000维参数空间的可扩展性。

ABSTRACT

We propose a fast and scalable optimization method to solve chance or probabilistic constrained optimization problems governed by partial differential equations (PDEs) with high-dimensional random parameters. To address the critical computational challenges of expensive PDE solution and high-dimensional uncertainty, we construct surrogates of the constraint function by Taylor approximation, which relies on efficient computation of the derivatives, low rank approximation of the Hessian, and a randomized algorithm for eigenvalue decomposition. To tackle the difficulty of the non-differentiability of the inequality chance constraint, we use a smooth approximation of the discontinuous indicator function involved in the chance constraint, and apply a penalty method to transform the inequality constrained optimization problem to an unconstrained one. Moreover, we design a gradient-based optimization scheme that gradually increases smoothing and penalty parameters to achieve convergence, for which we present an efficient computation of the gradient of the approximate cost functional by the Taylor approximation. Based on numerical experiments for a problem in optimal groundwater management, we demonstrate the accuracy of the Taylor approximation, its ability to greatly accelerate constraint evaluations, the convergence of the continuation optimization scheme, and the scalability of the proposed method in terms of the number of PDE solves with increasing random parameter dimension from one thousand to hundreds of thousands.

研究动机与目标

• 解决具有高维随机参数的随机约束PDE优化问题的计算不可行性。
• 减少为统计估计随机约束所需的大规模PDE求解次数。
• 在传统采样方法变得不可行的高维参数空间中实现可扩展优化。
• 开发一种基于梯度的优化方案，即使在随机约束不可微的情况下也能实现可靠收敛。
• 通过高阶泰勒近似和随机化低秩海森矩阵计算，实现高精度与高效率。

提出的方法

• 利用高达二次阶的泰勒近似构建约束函数的代理模型，结合高效的导数计算与低秩海森矩阵近似。
• 在随机约束中采用不连续指示函数的光滑近似，以支持基于梯度的优化。
• 应用延续方法，逐步增加平滑度与惩罚参数，以确保BFGS优化方案的收敛性。
• 使用随机算法高效地进行海森矩阵的特征值分解，从而实现在高维空间中的可扩展计算。
• 通过泰勒展开推导近似目标泛函的梯度，以支持高效优化。
• 将泰勒近似与惩罚法结合，将不等式约束问题转化为无约束问题，以适配基于梯度的求解器。

Figure 1: Left: Smooth approximation of the discontinuous indicator function ${\mathbb{I}}_{[0,\infty)}(x)$ by a logistic function $\ell_{\beta}(x)=\frac{1}{1+e^{-2\beta x}}$ with $\beta>0$ . Right: Penalty function $\mathcal{S}_{\gamma}(x)=\frac{\gamma}{2}(\max\{0,x\})^{2}$ with $\gamma>0$ .

实验结果

研究问题

• RQ1 高阶泰勒近似能否在高维不确定性下的PDE约束优化中有效且高效地替代昂贵的随机约束？
• RQ2 在随机参数空间维度增加时，该方法在PDE求解次数与优化迭代次数方面的可扩展性如何？
• RQ3 带有光滑惩罚与自适应参数的延续优化方案是否能在保持精度的同时实现收敛？
• RQ4 使用常数、线性或二次泰勒近似时，近似精度与计算成本之间的权衡如何？
• RQ5 随机化海森矩阵近似与低秩分解在降低计算成本的同时，能在多大程度上保持精度？

主要发现

• 二次泰勒近似在仅需SAA方法1/37的PDE求解次数下，实现了比使用1024个样本的SAA高两个数量级的精度。
• 与SAA相比，该方法将PDE求解次数减少了约37倍的加速比，且对于更昂贵的PDE或更大的样本量，加速比更高。
• 当随机参数维度从1,089增加到100,000时，PDE求解次数基本保持不变，显示出强大的可扩展性。
• 在平滑度与惩罚参数逐步增加的情况下，优化收敛性表现出强鲁棒性与稳定性，迭代次数保持一致。
• 不同维度下的海森矩阵近似特征值衰减趋势相似，证实了低秩近似的可扩展性。
• 通过二次泰勒近似获得的最优设计在变量取值和目标区域压力场降低程度上，与SAA结果高度一致。

Figure 2: Groundwater flow in physical domain $(0,1)^{2}$ . Blue dots stand for the location of the extraction wells. A velocity field $\mathbf{v}$ is shown at the mean of the log-permeability $m=\bar{m}$ and optimal variable $z^{*}$ , which is obtained with quadratic approximation of the constraint