[论文解读] Validation of uncertainty quantification metrics: a primer based on the consistency and adaptivity concepts

Pascal Pernot|arXiv (Cornell University)|Mar 13, 2023

Machine Learning in Materials Science被引用 5

一句话总结

本文提出了一套原则化的框架，用于使用一致性和自适应性这两个互补概念，验证机器学习中的不确定性量化（UQ）度量。通过将可靠性图、置信度曲线和LZISD分析等常见验证方法建立在条件校准的基础上，该框架为方差型和区间型UQ度量提供了改进的诊断工具，并推荐了稳健、无需分箱且与特征自适应的评估策略。

ABSTRACT

The practice of uncertainty quantification (UQ) validation, notably in machine learning for the physico-chemical sciences, rests on several graphical methods (scattering plots, calibration curves, reliability diagrams and confidence curves) which explore complementary aspects of calibration, without covering all the desirable ones. For instance, none of these methods deals with the reliability of UQ metrics across the range of input features (adaptivity). Based on the complementary concepts of consistency and adaptivity, the toolbox of common validation methods for variance- and intervals- based UQ metrics is revisited with the aim to provide a better grasp on their capabilities. This study is conceived as an introduction to UQ validation, and all methods are derived from a few basic rules. The methods are illustrated and tested on synthetic datasets and representative examples extracted from the recent physico-chemical machine learning UQ literature.

研究动机与目标

• 为填补UQ验证的空白，正式提出一致性（相对于不确定性的校准）和自适应性（相对于输入特征的校准）的双重需求。
• 批判现有验证方法（如可靠性图和置信度曲线）在检测误估方面存在的局限性，以及其对分箱策略或生成分布假设的依赖。
• 提出一个基于条件校准的统一验证框架，以实现对UQ度量更可靠、更可解释的评估。
• 推荐具体、稳健的方法（如LZISD分析和LCP分析），用于评估方差型和区间型UQ度量的一致性和自适应性。
• 强调自适应性对终端用户的重要性，即需要在整个输入特征空间中获得可靠的不确定性估计，而不仅是在平均意义上。

提出的方法

• 通过条件校准的视角重新诠释常见的UQ验证工具（如可靠性图、置信度曲线），区分平均校准、局部校准和特征条件校准。
• 提出LZISD（局部Z-不确定性标准差）分析作为视觉上更具区分性且定量上更稳健的一致性测试方法，采用自适应分箱以减少对分箱策略的敏感性。
• 提出基于RMSE的置信度曲线并引入概率参考作为一致性验证的替代方案，其对分箱的依赖性较低，但仍受生成分布假设的影响。
• 通过提出条件可靠性图、条件校准曲线和LCP（局部覆盖概率）分析，将验证扩展至自适应性，通过以输入特征为条件来检验不确定性是否随输入复杂度适当缩放。
• 建议在测试自适应性时避免以预测值（V）作为条件变量，因其可能与误差产生虚假相关性。
• 开发并发布了ErrViewLib R软件包和UncVal图形用户界面，以实现和可视化所提出的验证方法，确保可重现性和可访问性。

实验结果

研究问题

• RQ1 如何利用一致性和自适应性的概念，系统性地评估和改进现有的UQ验证方法？
• RQ2 为何标准方法（如可靠性图和置信度曲线）无法检测某些类型的不确定性误估？这些缺陷如何得以缓解？
• RQ3 在评估基于方差的UQ度量的一致性方面，误差-不确定性图、可靠性图、LZISD分析和置信度曲线的相对优缺点是什么？
• RQ4 在多大程度上可以可靠地评估相对于输入特征的条件校准（即自适应性）？使用如预测值等相关特征作为条件变量存在哪些风险？
• RQ5 如何使验证方法减少对任意选择（如分箱方案或生成分布假设）的依赖？

主要发现

• 误差-不确定性图可作为一致性评估的可靠、无伪影的初步诊断工具，但无法进行定量确认。
• LZISD分析相较于传统可靠性图，在评估一致性方面更具区分性和可量化性，尤其在采用自适应分箱以减少偏差时表现更优。
• 基于RMSE的置信度曲线配合概率参考，可实现双重诊断——同时评估主动学习的适用性与一致性，且对分箱的敏感性低于可靠性图。
• 条件校准曲线可检测不一致性，但若假设的误差分布错误，易导致误读，尤其在基于小样本集合的UQ度量中更为明显。
• LCP分析是验证基于区间的UQ度量的最合适方法，因其直接实现了相对于输入特征的条件校准。
• 在自适应性测试中以预测值（V）作为条件变量存在风险，因其可能与误差产生虚假相关性，应避免使用，而应优先选择输入特征或不确定性本身作为条件变量。