[论文解读] Shifts 2.0: Extending The Dataset of Real Distributional Shifts

Andrey Malinin, Ανδρέας Αθανασόπουλος+16 more|arXiv (Cornell University)|Jun 30, 2022

Advanced Glycation End Products researchBiochemistry, Genetics and Molecular Biology被引用 18

一句话总结

本论文通过引入两个新的工业规模基准——多发性硬化症3D MRI病灶分割与海洋船舶能耗预测——扩展了Shifts数据集，涵盖真实世界中的分布偏移。作者提供了详尽的数据收集、预处理及基线结果，使模型在真实、高风险的分布偏移下具备鲁棒的泛化能力与不确定性估计评估能力。

ABSTRACT

Distributional shift, or the mismatch between training and deployment data, is a significant obstacle to the usage of machine learning in high-stakes industrial applications, such as autonomous driving and medicine. This creates a need to be able to assess how robustly ML models generalize as well as the quality of their uncertainty estimates. Standard ML baseline datasets do not allow these properties to be assessed, as the training, validation and test data are often identically distributed. Recently, a range of dedicated benchmarks have appeared, featuring both distributionally matched and shifted data. Among these benchmarks, the Shifts dataset stands out in terms of the diversity of tasks as well as the data modalities it features. While most of the benchmarks are heavily dominated by 2D image classification tasks, Shifts contains tabular weather forecasting, machine translation, and vehicle motion prediction tasks. This enables the robustness properties of models to be assessed on a diverse set of industrial-scale tasks and either universal or directly applicable task-specific conclusions to be reached. In this paper, we extend the Shifts Dataset with two datasets sourced from industrial, high-risk applications of high societal importance. Specifically, we consider the tasks of segmentation of white matter Multiple Sclerosis lesions in 3D magnetic resonance brain images and the estimation of power consumption in marine cargo vessels. Both tasks feature ubiquitous distributional shifts and a strict safety requirement due to the high cost of errors. These new datasets will allow researchers to further explore robust generalization and uncertainty estimation in new situations. In this work, we provide a description of the dataset and baseline results for both tasks.

研究动机与目标

• 为解决机器学习基准中未能捕捉高风险应用中常见真实分布偏移的关键缺口。
• 提供工业规模的数据集，涵盖医学影像与能源系统中的真实分布偏移，其中模型失效将导致严重后果。
• 在实际部署偏移而非合成或筛选偏移下，系统性评估模型鲁棒性与不确定性估计。
• 通过两个新高影响力任务扩展Shifts基准：MRI中白质病灶的3D分割与货船能耗预测。
• 通过在分布偏移下对不确定性与泛化能力的真实评估，支持开发更安全、更可靠的机器学习系统。

提出的方法

• 从临床来源收集并整理了一个新的3D MRI多发性硬化症病灶数据集，涵盖多种扫描仪协议与成像参数，以引入真实分布偏移。
• 基于货船运行遥测数据构建了海洋船舶能耗数据集，捕捉因天气、载荷与航线变化导致的偏移。
• 为两个数据集设计了标准的训练/验证/测试划分，以在已知分布偏移下进行评估，包含域内与域外划分。
• 采用标准深度学习模型（如U-Net、MLP、ResNet）与不确定性估计技术（MC dropout、变分推理、深度集成）作为基线。
• 使用标准指标评估性能：R-AUC、F1-AUC、F1@95%与保留曲线，以评估在偏移下的不确定性校准情况。
• 报告结果时采用单次种子的偏差标准差，以确保基准评估的可重现性与统计严谨性。

实验结果

研究问题

• RQ1 在3D医学影像与海洋能源应用的真实世界分布偏移下，最先进深度学习模型的表现如何？
• RQ2 在高风险领域中，当部署于偏移数据时，不确定性估计方法（如MC dropout、深度集成）的可靠性在多大程度上得以保持？
• RQ3 在真实工业数据集中，从域内到域外数据的迁移中，模型性能与不确定性校准程度如何退化？
• RQ4 新基准是否能够支持开发在安全关键场景中具备鲁棒泛化能力与良好校准不确定性估计的模型？
• RQ5 在具有复杂非独立同分布数据偏移的真实高风险工业应用中，应用现有机器学习基准面临哪些关键挑战？

主要发现

• 在3D MRI病灶分割任务中，模型在分布偏移下表现出显著性能下降，MC dropout结合深度集成的F1-AUC从域内时的0.618降至域外时的0.536。
• 在海洋船舶能耗预测中，表现最佳的模型（符号模型结合集成）在测试集上R-AUC达到17.51×10⁵，显著优于DNN与单模型基线。
• 不确定性校准（通过R-AUC与保留曲线衡量）在域外数据上显著恶化，变分推理（VI）与MC dropout在偏移数据上的R-AUC低于域内数据。
• 采用集成训练的符号模型在测试集上达到最高的F1@95%（0.509），表明其在偏移下对不确定性校准偏差具有更强鲁棒性。
• 基线模型在偏移下泛化能力差，F1-AUC在域外划分上最高下降20%，凸显对改进鲁棒性与不确定性估计的迫切需求。
• 新数据集表明，标准模型与不确定性方法在真实世界环境中无法可靠泛化，强调了需采用对偏移敏感的训练与评估方法。