[论文解读] Multimodal Densenet

Faisal Mahmood, Ziyun Yang+2 more|arXiv (Cornell University)|Nov 18, 2018

AI in cancer detection被引用 4

一句话总结

该论文提出Multimodal Densenet，一种新颖的深度学习架构，通过在首个密集块中实现密集的多层特征融合，融合白光、窄带成像和深度图等多模态医学影像数据，显著提升了息肉分类和解剖标志物检测的准确率，优于单模态和现有多模态融合方法。

ABSTRACT

Humans make accurate decisions by interpreting complex data from multiple sources. Medical diagnostics, in particular, often hinge on human interpretation of multi-modal information. In order for artificial intelligence to make progress in automated, objective, and accurate diagnosis and prognosis, methods to fuse information from multiple medical imaging modalities are required. However, combining information from multiple data sources has several challenges, as current deep learning architectures lack the ability to extract useful representations from multimodal information, and often simple concatenation is used to fuse such information. In this work, we propose Multimodal DenseNet, a novel architecture for fusing multimodal data. Instead of focusing on concatenation or early and late fusion, our proposed architectures fuses information over several layers and gives the model flexibility in how it combines information from multiple sources. We apply this architecture to the challenge of polyp characterization and landmark identification in endoscopy. Features from white light images are fused with features from narrow band imaging or depth maps. This study demonstrates that Multimodal DenseNet outperforms monomodal classification as well as other multimodal fusion techniques by a significant margin on two different datasets.

研究动机与目标

• 为解决将不同对比度设置下的内镜影像等多模态医学影像数据融合为统一、鲁棒的表征方式，以提升诊断准确率。
• 克服传统融合方法（如早期/晚期融合或简单拼接）难以捕捉复杂模态间依赖关系的局限性。
• 通过对抗性域对齐与循环一致性损失，实现未配对和未注册的多模态数据（如白光与窄带成像）的有效对齐与融合。
• 设计一种深度学习架构，利用密集连接与多层融合的优势，缓解梯度消失问题，并提升跨模态的特征学习能力。
• 在内镜多模态场景分类任务中，包括息肉表征与解剖标志物检测，展示最先进性能。

提出的方法

• 提出Multimodal Densenet架构，在首个密集块中整合来自多种成像模态的特征，利用密集跳跃连接增强特征流动与梯度传播。
• 通过在多个层级（具体为首个密集块的最后八层）融合不同模态的特征，实现分层且动态的跨模态表征融合。
• 采用双生成对抗网络（GAN）框架，结合循环一致性损失，对齐来自同一解剖区域的未配对多模态数据（如白光与NBI内镜），实现在无需配对训练数据的条件下实现有效融合。
• 通过修改残差连接，将DenseNet架构适配为支持双流输入（如RGB与深度图，或白光与NBI），实现模态间的共享特征学习。
• 应用梯度类激活映射（Grad-CAM）可视化并验证模型的注意力机制，确认网络聚焦于息肉表面等具有诊断意义的区域。
• 采用标准训练协议，使用交叉熵损失与Adam优化器，训练在两个独立的内镜数据集上，分别用于息肉分类与标志物检测。

实验结果

研究问题

• RQ1 一种在多个层级上融合多模态医学影像数据的深度学习架构，是否能在内镜图像分类任务中超越单模态和传统多模态融合方法？
• RQ2 与早期融合、晚期融合或拼接基线策略相比，密集的多层融合在捕捉模态间依赖关系与提升诊断准确率方面效果如何？
• RQ3 能否通过对抗性训练结合循环一致性损失，有效对齐并融合未配对和未注册的多模态内镜图像（如白光与窄带成像）？
• RQ4 所提出的Multimodal Densenet在真实临床任务（如息肉表征与解剖标志物检测）中的性能提升程度如何？
• RQ5 通过Grad-CAM可视化，模型的注意力是否与临床相关特征（如息肉表面纹理与颜色）一致，表明其具备稳健且可解释的特征学习能力？

主要发现

• 在RGB-D息肉分类任务中，Multimodal Densenet相比标准DenseNet，F1得分提升24.72%，显著证明多模态融合带来的性能增益。
• 在白光与NBI息肉分类任务中，该模型相比单模态DenseNet，F1得分提升8.03%，优于VGG16-Fuse（+4.28%）与ResNet-50-Fuse（+8.03%）基线模型。
• 在使用RGB与深度图像进行7类解剖标志物与病理分类任务中，该模型达到最先进水平，准确率优于现有融合架构。
• Grad-CAM可视化结果表明，Multimodal Densenet通过综合颜色、纹理与深度信息，聚焦于具有诊断意义的区域（如息肉表面），而单模态DenseNet则常依赖周围组织。
• 对抗性域对齐结合循环一致性损失，成功实现了未配对白光与NBI图像的对齐与融合，使未注册数据得以有效利用，无需人工配准。
• 尽管训练时间更长，但其性能提升在临床场景中具有显著价值，尤其在诊断准确率至关重要的情况下，计算成本可被合理化。