[论文解读] Randomized linear algebra for model reduction. Part II: minimal residual methods and dictionary-based approximation

Oleg Balabanov, Anthony Nouy|arXiv (Cornell University)|Oct 31, 2019

Model Reduction and Neural Networks参考文献 53被引用 18

一句话总结

本文提出了一种基于随机化线性代数的模型降阶框架，利用压缩技术加速最小残差（minres）方法，并实现基于字典的非线性逼近。通过在线从预计算的字典中选择子空间对解进行投影，并使用缩减基和残差的小型随机压缩表示，该方法在保持高概率下解的精度的同时，实现了高计算效率和改进的数值稳定性——在基准问题上实现了数量级的加速。

ABSTRACT

A methodology for using random sketching in the context of model order reduction for high-dimensional parameter-dependent systems of equations was introduced in [Balabanov and Nouy 2019, Part I]. Following this framework, we here construct a reduced model from a small, efficiently computable random object called a sketch of a reduced model, using minimal residual methods. We introduce a sketched version of the minimal residual based projection as well as a novel nonlinear approximation method, where for each parameter value, the solution is approximated by minimal residual projection onto a subspace spanned by several vectors picked (online) from a dictionary of candidate basis vectors. It is shown that random sketching technique can improve not only efficiency but also numerical stability. A rigorous analysis of the conditions on the random sketch required to obtain a given accuracy is presented. These conditions may be ensured a priori with high probability by considering for the sketching matrix an oblivious embedding of sufficiently large size. Furthermore, a simple and reliable procedure for a posteriori verification of the quality of the sketch is provided. This approach can be used for certification of the approximation as well as for adaptive selection of the size of the random sketching matrix.

研究动机与目标

• 解决高维、参数依赖系统在模型降阶中的计算瓶颈问题。
• 通过增强数值稳定性和效率，克服经典伽辽金法和 minres 方法在病态或非强制问题中的局限性。
• 开发一种随机压缩框架，实现在不牺牲精度的前提下，快速、可验证且稳定的解逼近。
• 通过从基向量字典中在线选择实现非线性逼近，以应对 Kolmogorov r-宽度衰减缓慢的问题。
• 提供后验验证与自适应压缩大小选择，以实现可靠且高效的在线计算。

提出的方法

• 使用随机压缩将缩减基和残差向量压缩为小规模、低维表示。
• 应用压缩版的最小残差投影，从压缩表示中计算近似解，避免全维运算。
• 提出一种新颖的非线性逼近方法：对于每个参数值，将解投影到从字典中在线选择的向量张成的子空间上。
• 通过无偏子空间嵌入（如 SRHT 或高斯矩阵）确保压缩质量，压缩矩阵大小根据高概率保证精度而选定。
• 提供后验验证程序以验证压缩质量，并基于误差界自适应选择压缩大小。
• 利用压缩的仿射分解，实现跨多样化计算架构的高效预计算与在线评估。

实验结果

研究问题

• RQ1 随机压缩能否有效应用于模型降阶中的最小残差方法，以同时提升效率与数值稳定性？
• RQ2 当 Kolmogorov r-宽度衰减缓慢时，基于字典的逼近策略如何提升解的精度？
• RQ3 压缩矩阵需满足何种条件，才能以高概率保持缩减解的拟最优常数？
• RQ4 能否实现显著小于理论估计的压缩大小，以完成压缩质量的后验验证？
• RQ5 该随机化框架在离线与在线阶段能实现多大程度的计算节省？

主要发现

• 在隐身斗篷基准问题中，压缩版 minres 方法在离线与在线阶段均实现了显著的计算加速，同时保持了解的质量并提升了数值稳定性，优于标准 minres 方法。
• 后验验证程序所得压缩大小界限比先前工作的理论估计小一个数量级，证明了实际效率。
• 在对流-扩散基准问题中，Kolmogorov r-宽度衰减缓慢，基于字典的逼近使在线复杂度降低一个数量级以上，内存减少约 2 倍，运行时间减少约 4 倍，优于压缩 minres 方法。
• 当压缩矩阵 Θ 的行数 k = 600 时，残差误差 ∆P 集中在约 0.03，解误差 eP 约为 0.06，且当 k ≥ 600 时性能稳定。
• 使用对数尺度于字典基数和失败概率的压缩矩阵，该方法以高概率（例如失败概率 10−10）保持了解的精度。
• 基于 20 次实现的统计分析表明，该压缩框架在不同压缩大小下均保持一致的误差水平，验证了其鲁棒性与可靠性。