[论文解读] Quantitative model validation techniques: new insights

You Ling, Sankaran Mahadevan|arXiv (Cornell University)|Jun 21, 2012

Probabilistic and Robust Engineering Design参考文献 48被引用 6

一句话总结

本文提出并评估了四种定量模型验证技术——经典假设检验、贝叶斯假设检验、基于可靠性的方法和基于区域度量的方法——以评估计算模型的预测结果。文章引入了贝叶斯区间假设检验，以考虑方向性偏差，并证明通过阈值优化和模型平均，贝叶斯方法可降低第一类/第二类错误风险，且在特定条件下与经典p值存在强数学关联。

ABSTRACT

This paper develops new insights into quantitative methods for the validation of computational model prediction. Four types of methods are investigated, namely classical and Bayesian hypothesis testing, a reliability-based method, and an area metric-based method. Traditional Bayesian hypothesis testing is extended based on interval hypotheses on distribution parameters and equality hypotheses on probability distributions, in order to validate models with deterministic/stochastic output for given inputs. Two types of validation experiments are considered - fully characterized (all the model/experimental inputs are measured and reported as point values) and partially characterized (some of the model/experimental inputs are not measured or are reported as intervals). Bayesian hypothesis testing can minimize the risk in model selection by properly choosing the model acceptance threshold, and its results can be used in model averaging to avoid Type I/II errors. It is shown that Bayesian interval hypothesis testing, the reliability-based method, and the area metric-based method can account for the existence of directional bias, where the mean predictions of a numerical model may be consistently below or above the corresponding experimental observations. It is also found that under some specific conditions, the Bayes factor metric in Bayesian equality hypothesis testing and the reliability-based metric can both be mathematically related to the p-value metric in classical hypothesis testing. Numerical studies are conducted to apply the above validation methods to gas damping prediction for radio frequency (RF) microelectromechanical system (MEMS) switches. The model of interest is a general polynomial chaos (gPC) surrogate model constructed based on expensive runs of a physics-based simulation model, and validation data are collected from fully characterized experiments.

研究动机与目标

• 为解决模型验证中的未解难题，包括完全表征与部分表征实验、确定性与随机性预测、方向性偏差及阈值选择问题。
• 将贝叶斯假设检验扩展至分布参数的区间假设以及模型预测与实验观测概率密度函数（PDF）相等性的假设，以提升不确定性下的模型验证效果。
• 在不同实验数据条件下，评估四种验证方法——经典假设检验、贝叶斯假设检验、基于可靠性的方法和基于区域度量的方法——的性能表现。
• 证明通过基于风险的阈值选择和模型平均，贝叶斯方法可最小化模型选择错误。
• 表明方向性偏差（即模型预测系统性地低估或高估观测值）可被贝叶斯区间检验、基于可靠性的方法和基于区域度量的方法定量捕捉。

提出的方法

• 提出贝叶斯区间假设检验，通过比较预测均值与标准差与实验数据的匹配程度，利用似然函数和后验概率来验证模型预测。
• 将贝叶斯假设检验扩展至对模型预测与实验观测完整概率密度函数（PDF）相等性的假设检验。
• 引入基于可靠性的方法，利用容差区间计算失效概率，并与经典假设检验的度量进行比较。
• 开发基于区域度量的方法，通过计算预测残差的经验累积分布函数（CDF）与均匀分布CDF之间的距离，量化模型一致性。
• 将上述方法应用于射频微机电系统（RF MEMS）开关阻尼的广义多项式混沌（gPC）代理模型，使用140个完全表征的实验数据点。
• 在贝叶斯验证中基于后验概率进行模型平均，以降低第一类/第二类错误风险，并提升模型选择的鲁棒性。

实验结果

研究问题

• RQ1 如何将贝叶斯假设检验扩展至模型参数的区间假设以及概率密度函数（PDF）相等性的假设，以在不确定性下提升模型验证效果？
• RQ2 经典假设检验与贝叶斯假设检验在对模型预测方向性偏差的敏感性方面有何不同？
• RQ3 基于可靠性的方法与基于区域度量的方法如何检测并量化模型预测中的方向性偏差？
• RQ4 在何种条件下，贝叶斯检验中的贝叶斯因子可与经典假设检验中的p值建立数学关联？
• RQ5 贝叶斯模型验证结果能否直接整合到工程系统的长期可靠性与失效分析中？

主要发现

• 贝叶斯区间假设检验能有效捕捉方向性偏差（即模型预测系统性地低估或高估实验数据），且在存在此类偏差时表现劣于经典方法。
• 基于可靠性的方法与基于区域度量的方法在其度量中均反映出方向性偏差，且偏差越大，度量值越高，表明模型性能越差。
• 对于射频微机电系统（RF MEMS）开关的gPC代理模型，最佳实验数据一致性出现在中等压力条件下（28,664.31 Pa 和 43,596.41 Pa），而在最低压力（18,798.45 Pa）与最高压力（66,661.19 Pa）下性能下降。
• 区域度量将18,798.45 Pa下的gPC模型识别为最差表现者（区域度量 = 0.543），主要归因于方向性偏差。
• 当基于z检验中使用的显著性水平α设定可靠度阈值时，z检验与基于可靠性的方法得出了相同的失效百分比。
• 在特定条件下，贝叶斯假设检验中的贝叶斯因子与基于可靠性的度量均与经典检验中的p值存在数学关联，从而在经典与贝叶斯验证框架之间建立了桥梁。