[论文解读] UncertaintyFuseNet: Robust Uncertainty-aware Hierarchical Feature Fusion with Ensemble Monte Carlo Dropout for COVID-19 Detection

Moloud Abdar, Soorena Salari+7 more|arXiv (Cornell University)|May 18, 2021

COVID-19 diagnosis using AI参考文献 60被引用 27

一句话总结

本文提出 UncertaintyFuseNet，一种鲁棒的深度学习模型，通过集成蒙特卡洛 dropout 技术量化并管理模型不确定性，融合胸部 CT 和 X 射线图像以实现 COVID-19 检测。该方法在未见数据上展现出优越的泛化能力和抗噪声鲁棒性，通过跨影像模态的不确定性感知特征融合，优于单一模态方法。

ABSTRACT

The COVID-19 (Coronavirus disease 2019) has infected more than 151 million people and caused approximately 3.17 million deaths around the world up to the present. The rapid spread of COVID-19 is continuing to threaten human's life and health. Therefore, the development of computer-aided detection (CAD) systems based on machine and deep learning methods which are able to accurately differentiate COVID-19 from other diseases using chest computed tomography (CT) and X-Ray datasets is essential and of immediate priority. Different from most of the previous studies which used either one of CT or X-ray images, we employed both data types with sufficient samples in implementation. On the other hand, due to the extreme sensitivity of this pervasive virus, model uncertainty should be considered, while most previous studies have overlooked it. Therefore, we propose a novel powerful fusion model named $UncertaintyFuseNet$ that consists of an uncertainty module: Ensemble Monte Carlo (EMC) dropout. The obtained results prove the effectiveness of our proposed fusion for COVID-19 detection using CT scan and X-Ray datasets. Also, our proposed $UncertaintyFuseNet$ model is significantly robust to noise and performs well with the previously unseen data. The source codes and models of this study are available at: this https URL.

研究动机与目标

• 解决利用医学影像实现准确、自动化的 COVID-19 检测的迫切需求，以支持临床决策制定。
• 通过融合 CT 和 X 射线两种数据类型，克服先前研究仅依赖单一影像模态（CT 或 X 射线）的局限性，从而提升诊断性能。
• 将模型不确定性纳入检测流程，因为大多数现有方法在高风险医疗应用中忽略了这一关键方面。
• 开发一种鲁棒、抗噪声的模型，能够在真实世界数据变异性和分布偏移条件下，对未见过的数据实现良好泛化。
• 提供公开可获取的实现代码，以支持医学人工智能在疫情应对中的可复现性与进一步研究。

提出的方法

• 采用分层特征融合架构，在多个层级上结合来自独立 CT 和 X 射线分支网络的特征，以增强表征学习能力。
• 集成集成蒙特卡洛（EMC）dropout 模块，通过在推理过程中激活 dropout 进行多次前向传播，以估计模型不确定性。
• 通过对多次前向传播进行蒙特卡洛采样，估计预测方差，从而实现每个预测的不确定性量化。
• 端到端训练模型，使用交叉熵损失，同时利用 EMC dropout 实现正则化和不确定性估计。
• 通过可学习注意力机制或拼接操作，融合 CT 和 X 射线分支的特征，以优先关注信息丰富且模态特异的特征。
• 在训练和推理中应用不确定性感知机制，以提升在低数据量或噪声场景下的鲁棒性和可靠性。

实验结果

研究问题

• RQ1 与单一模态方法相比，联合建模 CT 和 X 射线图像是否能提升 COVID-19 检测的准确性和鲁棒性？
• RQ2 在医学影像场景中，特别是针对高度传染性的疾病如 COVID-19，集成蒙特卡洛 dropout 是否能有效量化不确定性？
• RQ3 不确定性估计的整合是否能提升模型在分布外或噪声测试样本上的泛化能力？
• RQ4 所提出的多模态融合架构在多大程度上降低了预测方差，并提升了真实世界部署场景下的可靠性？
• RQ5 该方法在测试之前未见过的数据时是否能保持高性能，表明其具备强大的泛化能力？

主要发现

• 所提出的 UncertaintyFuseNet 模型通过有效融合 CT 和 X 射线影像模态的特征，在检测 COVID-19 方面实现了卓越性能。
• 集成蒙特卡洛 dropout 使不确定性量化更加可靠，使预测在高风险诊断场景中更具可信度。
• 该模型对噪声表现出显著鲁棒性，并在未见过的数据上表现良好，表明其具备强大的泛化能力。
• 多模态数据（CT 和 X 射线）的融合相比仅使用单一模态训练的模型，显著提升了诊断准确性。
• 源代码和训练好的模型已公开提供，有助于医学人工智能在传染病检测领域的可复现性与进一步研究。