[论文解读] UncertaintyFuseNet: Robust Uncertainty-aware Hierarchical Feature Fusion Model with Ensemble Monte Carlo Dropout for COVID-19 Detection

Moloud Abdar, Soorena Salari+8 more|arXiv (Cornell University)|May 18, 2021

COVID-19 diagnosis using AI被引用 4

一句话总结

本文提出 UncertaintyFuseNet，一种利用集成蒙特卡洛丢弃法进行不确定性感知的深度学习模型，通过融合胸部 CT 和 X 射线图像的分层特征，实现对 COVID-19 的检测。该模型在 CT 扫描中达到 99.08% 的准确率，在 X 射线中达到 96.35%，表现出对噪声和分布外数据的优越鲁棒性。

ABSTRACT

The COVID-19 (Coronavirus disease 2019) pandemic has become a major global threat to human health and well-being. Thus, the development of computer-aided detection (CAD) systems that are capable to accurately distinguish COVID-19 from other diseases using chest computed tomography (CT) and X-ray data is of immediate priority. Such automatic systems are usually based on traditional machine learning or deep learning methods. Differently from most of existing studies, which used either CT scan or X-ray images in COVID-19-case classification, we present a simple but efficient deep learning feature fusion model, called UncertaintyFuseNet, which is able to classify accurately large datasets of both of these types of images. We argue that the uncertainty of the model's predictions should be taken into account in the learning process, even though most of existing studies have overlooked it. We quantify the prediction uncertainty in our feature fusion model using effective Ensemble MC Dropout (EMCD) technique. A comprehensive simulation study has been conducted to compare the results of our new model to the existing approaches, evaluating the performance of competing models in terms of Precision, Recall, F-Measure, Accuracy and ROC curves. The obtained results prove the efficiency of our model which provided the prediction accuracy of 99.08\% and 96.35\% for the considered CT scan and X-ray datasets, respectively. Moreover, our UncertaintyFuseNet model was generally robust to noise and performed well with previously unseen data. The source code of our implementation is freely available at: https://github.com/moloud1987/UncertaintyFuseNet-for-COVID-19-Classification.

研究动机与目标

• 解决现有基于医学影像的 COVID-19 检测深度学习模型中缺乏不确定性量化的问题。
• 开发一种统一且鲁棒的特征融合模型，能够处理 CT 和 X 射线图像以提升诊断准确性。
• 通过在训练和推理过程中集成不确定性估计，提升模型的可靠性。
• 确保在临床部署场景中对噪声和未见数据具备泛化能力和鲁棒性。
• 提供一种可扩展、可泛化的框架，适用于其他复杂疾病检测任务。

提出的方法

• 采用分层特征融合架构，结合在 CT 和 X 射线图像上预训练的卷积神经网络的低级和高级特征。
• 集成集成蒙特卡洛丢弃法（EMCD），通过在推理过程中多次前向传播并激活丢弃，估计模型不确定性。
• 采用早期融合策略，在最终分类前合并来自不同影像模态的特征。
• 使用交叉熵损失结合权重正则化和数据增强进行模型训练，以提升泛化能力。
• 通过类别分析和鲁棒性评估，验证模型在所有类别上的一致性能。
• 采用双分支编码器结构，包含共享层和模态特异性层，以在融合前提取模态特异性表征。

实验结果

研究问题

• RQ1 统一的深度学习模型能否有效融合 CT 和 X 射线图像的特征，从而提升 COVID-19 检测的准确性？
• RQ2 通过集成蒙特卡洛丢弃法引入不确定性量化，如何增强模型在医学诊断中的可靠性与可解释性？
• RQ3 所提出的模型在多大程度上对噪声具有鲁棒性，并具备检测未知或分布外样本的能力？
• RQ4 在标准基准数据集上，UncertaintyFuseNet 与最先进模型相比，在精确率、召回率、F1 值和 AUC-ROC 指标上的表现如何？
• RQ5 该模型能否在不同影像模态间实现泛化，并在无需微调的情况下保持高性能？

主要发现

• UncertaintyFuseNet 在 CT 扫描数据集上达到 99.08% 的准确率，显著优于所有基线模型，包括 ResNet50 和 DeTraC。
• 在 X 射线数据集上，该模型达到 96.35% 的准确率，优于最先进模型如 DarkCovidNet 和贝叶斯深度学习方法。
• 模型表现出对噪声的高鲁棒性，在恶劣数据条件下仍保持强劲性能。
• 集成蒙特卡洛丢弃法实现了可靠的不确定性估计，使模型能够以高置信度检测未知或异常病例。
• 类别分析证实了模型在所有诊断类别中的一致性能，表明预测结果平衡且可靠。
• 通过精确率、召回率、F1 值和 ROC-AUC 等综合指标对模型性能进行了验证，各项指标均优于现有方法。