[论文解读] Uncertainty-Informed Deep Learning Models Enable High-Confidence Predictions for Digital Histopathology

James M. Dolezal, Andrew Srisuwananukorn+14 more|arXiv (Cornell University)|Apr 9, 2022

AI in cancer detection被引用 5

一句话总结

本文提出了一种用于数字病理学的新型不确定性量化（UQ）框架，结合基于Dropout的不确定性估计与数据驱动的置信度阈值，以提升模型的可靠性。结果表明，通过UQ筛选出的高置信度预测在多个数据集（包括非肺癌的分布外切片）上对肺腺癌与鳞状细胞癌的分类表现优于标准模型，在真实世界部署条件下仍保持高精度。

ABSTRACT

A model's ability to express its own predictive uncertainty is an essential attribute for maintaining clinical user confidence as computational biomarkers are deployed into real-world medical settings. In the domain of cancer digital histopathology, we describe a novel, clinically-oriented approach to uncertainty quantification (UQ) for whole-slide images, estimating uncertainty using dropout and calculating thresholds on training data to establish cutoffs for low- and high-confidence predictions. We train models to identify lung adenocarcinoma vs. squamous cell carcinoma and show that high-confidence predictions outperform predictions without UQ, in both cross-validation and testing on two large external datasets spanning multiple institutions. Our testing strategy closely approximates real-world application, with predictions generated on unsupervised, unannotated slides using predetermined thresholds. Furthermore, we show that UQ thresholding remains reliable in the setting of domain shift, with accurate high-confidence predictions of adenocarcinoma vs. squamous cell carcinoma for out-of-distribution, non-lung cancer cohorts.

研究动机与目标

• 开发一种在数字病理学中可临床解释的深度学习模型不确定性量化（UQ）方法。
• 通过使用数据驱动的阈值识别并过滤不确定输出，实现高置信度预测。
• 在领域分布偏移和分布外数据等真实世界部署条件下，评估模型性能。
• 通过让模型能够表达自身的预测不确定性，确保临床信任。
• 在多个机构和外部数据集上验证UQ预测的鲁棒性。

提出的方法

• 该方法采用蒙特卡洛Dropout，对全切片图像训练的卷积神经网络进行预测不确定性估计。
• 在训练过程中使用验证集确定不确定性阈值，将预测分类为低、中、高置信度。
• 通过基于训练数据不确定性分布推导出的预设截断值，筛选高置信度预测。
• 在未标注、无监督的全切片图像上使用固定阈值评估模型，模拟真实世界部署场景。
• 在来自多个机构的两个大型外部数据集上测试该方法，以评估泛化能力和鲁棒性。
• 使用非肺癌全切片图像评估领域分布偏移的鲁棒性，以检验分布外性能。

实验结果

研究问题

• RQ1 基于Dropout的不确定性估计能否可靠地识别数字病理学中的高置信度预测？
• RQ2 在外部数据集上，UQ过滤后的预测与标准深度学习模型相比，在准确性和可靠性方面表现如何？
• RQ3 在应用到非肺癌全切片图像等情况下，UQ阈值策略是否能在领域分布偏移下保持性能？
• RQ4 该方法是否能在不依赖测试切片额外标注的情况下，生成临床可信的预测？
• RQ5 高置信度预测的性能在不同机构的数据源中是否保持稳定？

主要发现

• 通过UQ阈值筛选出的高置信度预测，在交叉验证和外部测试中均显著优于标准模型的预测准确率。
• 基于UQ的模型在两个大型、多机构的外部数据集上保持了高性能，展现出强大的泛化能力。
• 该方法在非肺癌全切片图像上也生成了准确的高置信度预测，表明对领域分布偏移具有鲁棒性。
• 使用固定的数据驱动阈值，使模型能够在无监督、无标注切片上实现可靠部署，紧密模拟真实临床应用。
• 模型表达不确定性的能力通过减少对低置信度、可能出错预测的依赖，增强了临床信心。
• 结果表明，即使在相同测试数据上应用，基于不确定性的模型也优于标准模型。