[论文解读] Optimal Data Split Methodology for Model Validation

Rebecca Morrison, Corey Bryant+3 more|arXiv (Cornell University)|Aug 30, 2011

Probabilistic and Robust Engineering Design参考文献 9被引用 5

一句话总结

本文提出了一种基于优化的系统性数据分割方法，用于模型验证，旨在选择最具挑战性的校准集和验证集，以严格测试模型对特定感兴趣量（QoI）的预测能力。通过在大小约束下评估所有可能的数据划分，并选择使验证挑战性最大化且确保校准充分性的分割方案，该方法能够识别模型是否能可靠预测未观测到的情景——通过验证失败，成功否定了一个冲击管实验中ICCD相机数据压缩模型的预测能力，尽管其数据再现性能良好。

ABSTRACT

The decision to incorporate cross-validation into validation processes of mathematical models raises an immediate question - how should one partition the data into calibration and validation sets? We answer this question systematically: we present an algorithm to find the optimal partition of the data subject to certain constraints. While doing this, we address two critical issues: 1) that the model be evaluated with respect to predictions of a given quantity of interest and its ability to reproduce the data, and 2) that the model be highly challenged by the validation set, assuming it is properly informed by the calibration set. This framework also relies on the interaction between the experimentalist and/or modeler, who understand the physical system and the limitations of the model; the decision-maker, who understands and can quantify the cost of model failure; and the computational scientists, who strive to determine if the model satisfies both the modeler's and decision maker's requirements. We also note that our framework is quite general, and may be applied to a wide range of problems. Here, we illustrate it through a specific example involving a data reduction model for an ICCD camera from a shock-tube experiment located at the NASA Ames Research Center (ARC).

研究动机与目标

• 解决在模型验证中缺乏系统性、定量的数据划分为校准集和验证集的标准问题。
• 确保模型既通过校准数据充分学习，又通过验证数据受到严格挑战，尤其针对预测不可观测的感兴趣量（QoI）。
• 开发一种避免主观或任意数据划分的框架，尤其适用于数据有限或历史遗留实验数据的情况。
• 将建模者、实验人员和决策者的见解与计算验证相结合，以评估模型在预测应用中的可信度。
• 提供一种可推广的方法论，适用于预测建模至关重要的科学领域，如核武器库存维护或航空航天再入模拟。

提出的方法

• 该方法评估所有可能的、固定大小的校准集与验证集之间的不相交数据划分，受所选校准集大小（例如11个门宽中的7个）的约束。
• 对每个划分，使用均匀先验进行贝叶斯推断，以校准模型参数并计算后验分布。
• 为每个划分计算两个指标：$M_D$，衡量模型再现校准数据的能力（相对误差容差 $M^*_D = 0.2$），以及 $M_Q$，衡量模型在QoI上的预测性能。
• 最优划分 $s^*$ 被选为在所有满足 $M_D(s_k) < M^*_D$ 的划分中使 $M_Q$ 最大的那个，确保模型既已校准又面临最大挑战。
• 该框架采用验证金字塔概念，使模型预测与真实世界QoI对齐，确保指标与预测任务直接相关。
• 该方法应用于冲击管实验中ICCD相机的数据压缩模型，使用11个门宽作为按 $Δ t$ 分组的数据点。

实验结果

研究问题

• RQ1 如何最优地将数据划分为校准集和验证集，以最大化模型验证的严谨性？
• RQ2 如何在确保校准数据充分性的同时，系统性地通过验证集挑战模型？
• RQ3 当该QoI的实验数据不可用时，能在多大程度上评估模型对感兴趣量预测能力？
• RQ4 如何在计算验证框架中形式化建模者、实验人员和决策者之间的交互？
• RQ5 系统性、数据驱动的方法能否替代模型验证中主观或任意的数据划分？

主要发现

• 最优数据划分 $s^*$ 被确定为校准集排除最低四个门宽（0.5、0.6、0.7、0.8 μs）的划分，使QoI预测面临最大挑战。
• 共评估了330种可能的数据划分，模型因 $M_Q(s^*) > M^*_Q$ 而未通过验证标准，表明其无法可靠预测QoI。
• 模型在平均相对误差低于20%容差阈值（$M^*_D = 0.2$）的情况下再现了校准数据，证实了校准的充分性。
• 结果在分析中形成四个明显分组，反映根据排除的低-$\Delta t$ 数据点不同，验证挑战程度逐步增加。
• 划分的分组表明，未来可通过代表性采样或基于互信息的数据聚类方法降低计算成本。
• 该框架成功否定了ICCD相机数据压缩模型，证明其能够检测到即使数据再现表现可接受，但预测失败的情况。