[论文解读] Unlabelled Data Improves Bayesian Uncertainty Calibration under Covariate Shift

Alexander Chan, Ahmed M. Alaa+2 more|arXiv (Cornell University)|Jun 26, 2020

Fault Detection and Control Systems被引用 14

一句话总结

本文提出了一种称为归纳性丢弃（Transductive Dropout）的方法，通过利用未标记的目标数据作为伪标签来正则化后验分布，从而在协变量偏移下提升神经网络的贝叶斯不确定性校准性能。该方法通过在分布外样本上鼓励更高的不确定性，显著降低了在分布偏移数据上的预测过自信现象，在跨不同人群的前列腺癌死亡率预测任务中，其表现优于标准的蒙特卡洛丢弃方法。

ABSTRACT

Modern neural networks have proven to be powerful function approximators, providing state-of-the-art performance in a multitude of applications. They however fall short in their ability to quantify confidence in their predictions - this is crucial in high-stakes applications that involve critical decision-making. Bayesian neural networks (BNNs) aim at solving this problem by placing a prior distribution over the network's parameters, thereby inducing a posterior distribution that encapsulates predictive uncertainty. While existing variants of BNNs based on Monte Carlo dropout produce reliable (albeit approximate) uncertainty estimates over in-distribution data, they tend to exhibit over-confidence in predictions made on target data whose feature distribution differs from the training data, i.e., the covariate shift setup. In this paper, we develop an approximate Bayesian inference scheme based on posterior regularisation, wherein unlabelled target data are used as "pseudo-labels" of model confidence that are used to regularise the model's loss on labelled source data. We show that this approach significantly improves the accuracy of uncertainty quantification on covariate-shifted data sets, with minimal modification to the underlying model architecture. We demonstrate the utility of our method in the context of transferring prognostic models of prostate cancer across globally diverse populations.

研究动机与目标

• 解决测试数据分布与训练数据分布不一致（即协变量偏移）时，贝叶斯神经网络预测出现过自信的问题。
• 在医疗预后等高风险应用中提升不确定性量化性能，因为误分类可能带来严重后果。
• 开发一种利用未标记目标数据来优化不确定性估计的方法，而无需目标领域标注数据。
• 在现实世界医疗预测任务中，特别是全球不同人群间存在显著分布差异的场景下，证明利用未标记数据进行后验正则化的有效性。

提出的方法

• 该方法提出一种后验正则化方案，将未标记的目标数据作为‘伪标签’，用以指示模型置信度，特别用于惩罚分布外样本上的过自信现象。
• 其形式化了一项正则化项，鼓励模型在目标数据上输出更高的预测方差，以反映因分布偏移带来的不确定性。
• 该方法在蒙特卡洛丢弃框架（MCDP）中实现，通过在变分推断目标中引入一种归纳性正则化损失来修改原有目标函数。
• 正则化损失通过比较模型在源数据和目标数据上的预测方差来计算，以鼓励模型在分布内与分布外样本之间产生不同的不确定性水平。
• 该方法在归纳设置下应用，即在训练过程中同时使用源域标注数据和目标域未标注数据，以提升泛化能力和不确定性校准性能。
• 该框架具有通用性，可扩展至蒙特卡洛丢弃以外的其他贝叶斯神经网络推断方法。

实验结果

研究问题

• RQ1 未标记的目标数据能否有效用于提升贝叶斯神经网络在协变量偏移下的不确定性校准性能？
• RQ2 将目标数据作为模型置信度的伪标签，是否能相比标准贝叶斯方法提供更可靠的不确定性估计？
• RQ3 在存在显著领域偏移的真实世界医疗应用中，如跨全球多样人群的前列腺癌死亡率预测，该方法表现如何？
• RQ4 模型的不确定性在多大程度上与分布外数据上的实际预测误差相关？
• RQ5 该方法能否降低在训练数据中代表性不足的高风险患者子群（如高龄且PSA水平高的患者）中的过自信现象？

主要发现

• 归纳性丢弃显著改善了协变量偏移数据上的不确定性校准性能，相比标准蒙特卡洛丢弃，有效降低了过自信现象。
• 在跨全球多样人群的前列腺癌死亡率预测任务中，该方法优于基线贝叶斯和频率派方法。
• 当采用50%风险阈值时，由归纳性丢弃预测出高不确定性患者更可能被正确识别为需治疗人群，其置信区间有助于提升临床决策质量。
• 模型对高龄且PSA水平高的患者表现出更高的不确定性——这些群体在训练数据中代表性不足——其结果与领域知识一致，表明校准合理。
• 误分类样本主要来自高龄群体（平均年龄74岁）和高PSA水平群体（平均28.6），证实了这些分布外样本正是模型需要提高不确定性的关键区域。
• 利用未标记数据作为置信度的伪标签，显著改善了不确定性估计，且无需额外获取目标域的标注数据，展示了在数据稀缺场景下的实际应用价值。