[论文解读] Uncertainty Quantification in Computer-Aided Diagnosis: Make Your Model say "I don't know" for Ambiguous Cases

Max-Heinrich Laves, Sontje Ihler+1 more|arXiv (Cornell University)|Aug 2, 2019

Retinal Imaging and Analysis参考文献 8被引用 4

一句话总结

本文提出将不确定性量化整合到基于深度学习的计算机辅助诊断中，采用蒙特卡洛 dropout（贝叶斯 ResNet）和变分推断（变分 ResNet）方法，使模型能够表达不确定性。两种方法在错误预测时均显著提高不确定性——错误分类的光学相干断层扫描的平均不确定性高出 4.6 至 8.7 倍，表明不确定性估计可增强诊断的可靠性与患者安全性。

ABSTRACT

We evaluate two different methods for the integration of prediction uncertainty into diagnostic image classifiers to increase patient safety in deep learning. In the first method, Monte Carlo sampling is applied with dropout at test time to get a posterior distribution of the class labels (Bayesian ResNet). The second method extends ResNet to a probabilistic approach by predicting the parameters of the posterior distribution and sampling the final result from it (Variational ResNet).The variance of the posterior is used as metric for uncertainty.Both methods are trained on a data set of optical coherence tomography scans showing four different retinal conditions. Our results shown that cases in which the classifier predicts incorrectly correlate with a higher uncertainty. Mean uncertainty of incorrectly diagnosed cases was between 4.6 and 8.1 times higher than mean uncertainty of correctly diagnosed cases. Modeling of the prediction uncertainty in computer-aided diagnosis with deep learning yields more reliable results and is anticipated to increase patient safety.

研究动机与目标

• 通过使模型能够表达不确定性，提升基于深度学习的医学诊断中的患者安全性。
• 解决标准深度学习模型缺乏不确定性估计的问题，使其在面对模糊病例时能够表达“我不知道”的态度。
• 在临床诊断环境中评估并比较两种不确定性估计方法——蒙特卡洛 dropout 与变分推断。
• 评估不确定性是否与使用光学相干断层扫描进行视网膜疾病分类时的预测错误相关。

提出的方法

• 在测试阶段应用蒙特卡洛 dropout，dropout 概率为 p=0.5，分别置于最终全连接层之前（bayesian1）或每个 ResNet 模块之前（bayesian2），以近似贝叶斯推断。
• 使用变分推断训练 ResNet-18 模型，以预测输出分布的均值 μ 和方差 σ²，并采用重参数化技巧实现可微采样。
• 采用重参数化技巧：ŷ = μ + σε，其中 ε ~ N(0, I)，从而实现端到端的梯度优化训练。
• 最小化一个结合交叉熵与 Kullback-Leibler 散度（KLD）的损失函数，以将后验分布正则化为标准正态分布。
• 在包含 84,484 个 OCT 扫描（涵盖四种视网膜疾病）的数据集上，训练并评估了三个不确定性感知模型（bayesian1、bayesian2、variational）和一个标准 ResNet-18 基线模型。
• 将后验分布的方差作为预测不确定性的度量，并比较正确分类与错误分类病例的不确定性水平。

实验结果

研究问题

• RQ1 在测试阶段使用 dropout 的蒙特卡洛 dropout 是否能可靠地估计 OCT 扫描诊断深度学习模型中的不确定性？
• RQ2 使用可学习后验参数的变分推断是否相比标准模型能提升不确定性估计性能？
• RQ3 在视网膜疾病诊断中，高预测不确定性与错误分类之间是否存在显著相关性？
• RQ4 贝叶斯与变分方法的不确定性估计是否能有效识别模糊或错误分类的病例？
• RQ5 通过使模型在不确定时‘说我不知道’，不确定性量化能否提升临床安全性？

主要发现

• 使用 bayesian1 方法时，错误诊断病例的平均不确定性是正确诊断病例的 8.7 倍。
• 使用 bayesian2 方法时，错误分类病例的平均不确定性高出 6.0 倍，而变分方法则高出 4.6 倍。
• bayesian1 方法在测试集上取得了最高的 F1 得分（0.96），而 bayesian2 和变分方法性能略低，可能由于多个 dropout 层和重参数化引入的噪声增加。
• 所有不确定性估计方法均在错误预测时产生更高的不确定性，证实不确定性与预测误差之间存在强烈相关性。
• 不确定性量化的整合显著提升了模型的可靠性，并通过识别模糊病例支持临床决策。
• 结果表明，不确定性感知模型可通过使临床医生关注高不确定性病例来增强患者安全性。