[论文解读] Uncertainty-aware deep learning methods for robust diabetic retinopathy classification

Joel Jaskari, Jaakko Sahlsten+6 more|arXiv (Cornell University)|Jan 22, 2022

Retinal Imaging and Analysis被引用 5

一句话总结

本文提出了一种新颖的不确定性感知深度学习框架，用于糖尿病视网膜病变分类，引入了一种基于二次加权 kappa（QWK）损失的 QWK-Risk 不确定性度量，以提升二分类和五分类分类任务中的校准性能。该方法在临床数据集和基准数据集上均优于基于熵的不确定性度量，尤其在五分类 PIRC 方案中表现更优。

ABSTRACT

Automatic classification of diabetic retinopathy from retinal images has been widely studied using deep neural networks with impressive results. However, there is a clinical need for estimation of the uncertainty in the classifications, a shortcoming of modern neural networks. Recently, approximate Bayesian deep learning methods have been proposed for the task but the studies have only considered the binary referable/non-referable diabetic retinopathy classification applied to benchmark datasets. We present novel results by systematically investigating a clinical dataset and a clinically relevant 5-class classification scheme, in addition to benchmark datasets and the binary classification scheme. Moreover, we derive a connection between uncertainty measures and classifier risk, from which we develop a new uncertainty measure. We observe that the previously proposed entropy-based uncertainty measure generalizes to the clinical dataset on the binary classification scheme but not on the 5-class scheme, whereas our new uncertainty measure generalizes to the latter case.

研究动机与目标

• 解决基于深度学习的糖尿病视网膜病变筛查中对可靠不确定性估计的临床需求。
• 探究不确定性感知方法在基准数据集之外向真实世界临床数据泛化的能力。
• 将稳健的深度学习方法从二分类（例如，可转诊与不可转诊）扩展至临床上相关的五分类 PIRC 系统。
• 提出一种基于 QWK 损失函数的新不确定性度量，以更好地与临床评估指标对齐。
• 在多个数据集上，评估不同模型不确定性水平下基于不确定性的转诊策略性能。

提出的方法

• 提出一种新的不确定性度量 QWK-Risk，其源自期望负二次加权 kappa（QWK）损失，直接针对临床评估指标进行优化。
• 将期望条件风险表述为后验预测分布的函数，将不确定性估计与性能指标联系起来。
• 在转诊过程中将 QWK-Risk 作为不确定性的代理，将最不确定的预测转介给专家。
• 实施并比较多种近似贝叶斯深度学习方法：MC Dropout、MFVI、Radial BNN 和深度集成。
• 在基准数据集（EyePACS、APTOS、Messidor-2）和临床数据集（KSSHP）上进行训练，以评估泛化性能。
• 从验证数据构建混淆矩阵，并据此计算每个预测的 QWK-Risk，从而实现不确定性感知的分类。

实验结果

研究问题

• RQ1 基于熵的不确定性度量是否能泛化到临床数据集和五分类糖尿病视网膜病变分类？
• RQ2 与基于熵的度量相比，基于 QWK-Risk 的不确定性度量是否能提升临床五分类分类中的模型鲁棒性？
• RQ3 在不同数据集上，各种近似贝叶斯深度学习方法在基于不确定性的转诊协议下表现如何？
• RQ4 所提出的 QWK-Risk 度量在多分类设置下与临床上有意义的性能指标（如 QWK）的对齐程度如何？
• RQ5 不确定性估计是否可有效用于模拟自动化糖尿病视网膜病变筛查中的专家转诊？

主要发现

• 基于熵的不确定性度量在临床数据上的二分类可转诊/不可转诊分类中表现良好，但在五分类 PIRC 方案中无法泛化。
• 所提出的 QWK-Risk 不确定性度量在五分类分类任务中表现出有效的泛化能力，优于该场景下的熵度量。
• 在 KSSHP 临床数据集上，基于 QWK-Risk 的转诊策略在所有转诊水平下均获得了比基于熵的方法更高的 QWK 分数。
• 在高转诊率下，使用 QWK-Risk 的深度集成和 Radial BNN 表现更优，能有效维持高 QWK 分数。
• QWK-Risk 度量与临床评估指标的对齐程度优于熵，尤其在多分类设置中。
• 本研究证实，不确定性估计方法必须根据临床实践中所使用的具体分类方案和评估指标进行定制。