[论文解读] ValUES: A Framework for Systematic Validation of Uncertainty Estimation in Semantic Segmentation

Kim-Celine Kahl, Carsten T. Lüth+3 more|arXiv (Cornell University)|Jan 16, 2024

Machine Learning and Data Classification被引用 4

一句话总结

本文提出了 ValUES，一种用于验证语义分割中不确定性估计的系统性框架，解决了当前评估实践中的关键空白。通过实现对数据模糊性与分布偏移的受控研究、方法组件的系统性消融分析，以及在五个关键应用（OoD 检测、主动学习、故障检测、校准和模糊性建模）中的基准测试，该研究揭示：在真实数据中，不确定性类型的分离是脆弱的；聚合策略虽至关重要却常被忽视；测试时增强通常在效率上优于集成方法，同时保持了强劲的性能表现。

ABSTRACT

Uncertainty estimation is an essential and heavily-studied component for the reliable application of semantic segmentation methods. While various studies exist claiming methodological advances on the one hand, and successful application on the other hand, the field is currently hampered by a gap between theory and practice leaving fundamental questions unanswered: Can data-related and model-related uncertainty really be separated in practice? Which components of an uncertainty method are essential for real-world performance? Which uncertainty method works well for which application? In this work, we link this research gap to a lack of systematic and comprehensive evaluation of uncertainty methods. Specifically, we identify three key pitfalls in current literature and present an evaluation framework that bridges the research gap by providing 1) a controlled environment for studying data ambiguities as well as distribution shifts, 2) systematic ablations of relevant method components, and 3) test-beds for the five predominant uncertainty applications: OoD-detection, active learning, failure detection, calibration, and ambiguity modeling. Empirical results on simulated as well as real-world data demonstrate how the proposed framework is able to answer the predominant questions in the field revealing for instance that 1) separation of uncertainty types works on simulated data but does not necessarily translate to real-world data, 2) aggregation of scores is a crucial but currently neglected component of uncertainty methods, 3) While ensembles are performing most robustly across the different downstream tasks and settings, test-time augmentation often constitutes a light-weight alternative. Code is at: https://github.com/IML-DKFZ/values

研究动机与目标

• 为解决不确定性估计在语义分割中理论主张与实际性能之间日益扩大的差距。
• 识别并解决当前文献中的关键陷阱，包括缺乏受控评估、方法组件的不足消融分析，以及下游任务验证范围过窄的问题。
• 提供一个标准化、系统化的验证框架，以实现对真实世界应用中不确定性方法的可靠比较与选择。
• 通过实证方法回答关于不确定性类型分离、组件重要性及不同使用场景下方法性能的基本问题。

提出的方法

• 该框架引入一个受控环境，以模拟数据模糊性与分布偏移，从而实现对认知不确定性与偶然不确定性的有效分离。
• 支持对四个核心组件的系统性消融分析：分割主干网络（C0）、预测模型（C1）、不确定性度量（C2）和聚合策略（C3）。
• 框架内嵌了针对五个关键下游任务的专用测试平台：OoD 检测、主动学习、故障检测、校准和模糊性建模。
• 采用合成数据（玩具数据集）与真实世界数据（LIDC-IDRI、GTA5/Cityscapes）相结合的方式，评估方法在受控与真实条件下的行为表现。
• 不确定性分数经过归一化处理，并在像素级与图像级进行评估，其中图像级聚合对故障检测等任务至关重要。
• 实证评估采用 AUROC 等多种指标，对比多种不确定性方法（如 TTA、MI、EE、SSN）在不同条件下的性能表现。

实验结果

研究问题

• RQ1 在真实世界数据中，尤其是面对分布偏移时，数据相关（偶然性）与模型相关（认知性）不确定性是否能够实现有意义的分离？
• RQ2 不确定性方法中的哪些组件——如聚合策略或不确定性度量——对真实世界性能具有决定性影响？
• RQ3 不同不确定性方法在 OoD 检测、主动学习和故障检测等多样化下游任务中的表现如何？
• RQ4 测试时增强（TTA）主要捕捉的是偶然性还是认知性不确定性？与集成方法相比表现如何？
• RQ5 不确定性方法的性能在多大程度上能泛化到不同数据分布与领域偏移场景？

主要发现

• 在模拟数据中，偶然性与认知性不确定性的分离能够可靠实现，但在真实世界数据中，尤其在领域偏移下，该分离难以泛化。
• 从像素级到图像级的不确定性分数聚合是关键但常被忽视的环节；不良的聚合策略会显著降低图像级任务（如故障检测）的性能。
• 集成方法在所有下游任务与设置中均持续优于其他方法，展现出强大鲁棒性，尽管测试时增强提供了一种高效且轻量级的替代方案。
• 测试时增强（TTA）在建模认知性不确定性方面比以往认为的更为有效，与早期假设其主要捕捉偶然性不确定性相反。
• 不确定性估计方法的选择显著影响下游性能：例如，基于 MI 的不确定性方法在 LIDC-MAL 数据集上的图像级故障检测中实现了 0.94 的 AUROC 分数，优于其他方法。
• 在 GTA5/Cityscapes 数据集中，图像级不确定性聚合使故障检测的 AUROC 从像素级的 0.70 提升至 0.82，凸显了正确聚合策略的重要性。