[论文解读] PGD-based advanced nonlinear multiparametric regressions for constructing metamodels at the scarce-data limit

Abel Sancarlos, Victor Champaney+3 more|arXiv (Cornell University)|Mar 9, 2021

Model Reduction and Neural Networks参考文献 26被引用 14

一句话总结

本文提出了一种基于PGD的先进非线性多参数回归方法——rs-PGD、s²-PGD和ANOVA-PGD，旨在在数据稀缺条件下构建高精度代理模型。通过结合稀疏采样、分层近似和方差分解，这些方法有效降低了过拟合现象并提升了预测准确性，其中s²-PGD在未见数据上的误差率仅为2.4%，显著优于标准s-PGD。

ABSTRACT

Regressions created from experimental or simulated data enable the construction of metamodels, widely used in a variety of engineering applications. Many engineering problems involve multi-parametric physics whose corresponding multi-parametric solutions can be viewed as a sort of computational vademecum that, once computed offline, can be then used in a variety of real-time engineering applications including optimization, inverse analysis, uncertainty propagation or simulation based control. Sometimes, these multi-parametric problems can be solved by using advanced model order reduction -- MOR -- techniques. However, when the solution of these multi-parametric problems becomes cumbersome, one possibility consists in solving the problem for a sample of the parametric values, and then creating a regression from all the computed solutions, to finally infer the solution for any choice of the problem parameters. However, addressing high-dimensionality at the low data limit, ensuring accuracy and avoiding overfitting constitutes a difficult challenge. The present paper aims at proposing and discussing different PGD-based advanced regressions enabling the just referred features.

研究动机与目标

• 解决在数据有限且参数维度较高的情况下构建高精度代理模型的挑战。
• 克服因数据不足和高阶近似导致的稀疏PGD回归中过拟合与泛化能力差的问题。
• 提升在实时工程应用（如优化与不确定性量化）中降阶模型（ROMs）的预测性能与鲁棒性。
• 通过正则化PGD框架，实现在高维参数问题中的有效变量选择与稀疏识别。
• 开发一种结合分离表示与方差分解（ANOVA）的框架，以在数据稀缺条件下提升模型的可解释性与准确性。

提出的方法

• 提出rs-PGD作为稀疏PGD（s-PGD）的正则化变体，利用自适应近似基来控制模型复杂度，降低过拟合风险。
• 引入s²-PGD，即对s-PGD实施二阶正则化，通过更严格地惩罚高阶项来增强模型稳定性与预测能力。
• 应用ANOVA分解将参数函数分解为主效应与交互效应项，实现对低维分量的独立回归。
• 采用分层近似基（模态自适应策略），在更高PGD模态中逐步增加复杂度，确保早期模态保持简洁。
• 结合结构化采样（如高斯-洛巴托点）与拉丁超立方采样设计实验（DoE），并辅以分离表示，以保持计算效率。
• 在ANOVA-PGD中，对边缘函数采用三次样条插值，对交互项采用低秩多项式回归，确保正交性并降低维度。

实验结果

研究问题

• RQ1 在数据稀缺条件下，rs-PGD与s²-PGD等正则化技术是否能显著降低稀疏PGD代理建模中的过拟合？
• RQ2 ANOVA-PGD方法如何通过将参数函数分解为正交分量，提升预测精度与模型可解释性？
• RQ3 在泛化能力与未见数据误差降低方面，s²-PGD在多大程度上优于标准s-PGD？
• RQ4 在高维参数问题中，PGD、稀疏采样与方差分解的结合是否能产生比传统回归方法更鲁棒、更精确的代理模型？
• RQ5 当标准s-PGD因数据稀缺而失效时，这些基于PGD的回归方法是否能实现有效的变量选择与稀疏识别？

主要发现

• s²-PGD方法在测试集上实现了2.4%的预测误差，显著优于标准s-PGD的46.39%误差率。
• ANOVA-PGD展现出优异的预测性能，其结果与精确解高度吻合，在准确性和泛化能力方面均优于标准s-PGD。
• rs-PGD与s²-PGD框架通过自适应近似基实现结构化的复杂度增长，有效降低了过拟合风险。
• ANOVA-PGD方法通过将函数分解为主效应与交互效应，成功捕捉了复杂的函数依赖关系（如非线性、耦合项），并提升了模型可解释性。
• s²-PGD中采用的分层近似基有效控制了模型复杂度，尤其在数据有限的高维场景下表现更优。
• 所提出的方法在稀疏识别与变量选择方面具有显著有效性，尤其在标准s-PGD因数据稀缺或过拟合而失效时表现突出。