[论文解读] Mutual Attention-based Hybrid Dimensional Network for Multimodal Imaging Computer-aided Diagnosis

Yin Dai, Yifan Gao+2 more|arXiv (Cornell University)|Jan 24, 2022

Radiomics and Machine Learning in Medical Imaging被引用 5

一句话总结

该论文提出MMNet，一种基于互注意力机制的混合维度网络，结合2D与3D卷积模块，以提升多模态3D医学图像分类性能。通过利用预训练的ImageNet模型、用于深度上下文建模的立体注意力机制，以及增强跨模态一致性的互注意力机制，MMNet在三个数据集上实现最先进性能，在PROSTATEx数据集上达到90.0%的准确率。

ABSTRACT

Recent works on Multimodal 3D Computer-aided diagnosis have demonstrated that obtaining a competitive automatic diagnosis model when a 3D convolution neural network (CNN) brings more parameters and medical images are scarce remains nontrivial and challenging. Considering both consistencies of regions of interest in multimodal images and diagnostic accuracy, we propose a novel mutual attention-based hybrid dimensional network for MultiModal 3D medical image classification (MMNet). The hybrid dimensional network integrates 2D CNN with 3D convolution modules to generate deeper and more informative feature maps, and reduce the training complexity of 3D fusion. Besides, the pre-trained model of ImageNet can be used in 2D CNN, which improves the performance of the model. The stereoscopic attention is focused on building rich contextual interdependencies of the region in 3D medical images. To improve the regional correlation of pathological tissues in multimodal medical images, we further design a mutual attention framework in the network to build the region-wise consistency in similar stereoscopic regions of different image modalities, providing an implicit manner to instruct the network to focus on pathological tissues. MMNet outperforms many previous solutions and achieves results competitive to the state-of-the-art on three multimodal imaging datasets, i.e., Parotid Gland Tumor (PGT) dataset, the MRNet dataset, and the PROSTATEx dataset, and its advantages are validated by extensive experiments.

研究动机与目标

• 解决因标注数据有限和参数量过高导致在医学影像中训练深层3D CNN的挑战。
• 通过结合2D与3D卷积，提升多模态3D医学图像分类中的特征提取与诊断准确率。
• 通过互注意力机制增强病灶区域检测中的跨模态一致性。
• 通过混合维度设计与预训练特征迁移，在保持或提升性能的同时，降低训练复杂度与模型参数量。

提出的方法

• 该模型采用混合维度块（HDB），集成2D与3D卷积层，以减少参数量并支持从ImageNet预训练模型进行迁移学习。
• 立体注意力模块（SAM）捕捉同一解剖区域内部不同深度切片之间的上下文依赖关系，提升病灶变化的定位能力。
• 互注意力框架（MAF）实现处理不同影像模态的双流网络之间的特征重校准，促进病灶区域表征的一致性。
• MAF通过可学习参数α动态平衡注意力权重，优化跨模态特征交换，以增强互补信息的利用。
• 网络采用交叉熵损失端到端训练，并通过标准指标（如ROC-AUC、准确率、敏感性与特异性）进行评估。

实验结果

研究问题

• RQ1 结合2D与3D卷积的混合维度架构是否能在保持高性能的同时降低3D医学图像分类的模型复杂度？
• RQ2 立体注意力模块在3D医学图像中捕捉深度上下文依赖关系的效率如何，能否提升病灶定位性能？
• RQ3 互注意力机制在多模态3D医学图像分析中，对提升跨模态一致性与诊断准确率的贡献程度如何？
• RQ4 为最大化多模态诊断性能，跨模态注意力权重（α）的最佳平衡点是什么？

主要发现

• MMNet在PROSTATEx数据集上实现了90.0% ± 3.2%的平均准确率，优于包括MISN与P3D在内的最先进方法。
• 消融实验表明，加入立体注意力模块（SAM）后准确率从83.6%提升至86.4%，再加入互注意力框架（MAF）后进一步提升至90.0%。
• 最优自注意力权重α = 0.6时，准确率达到最高值90.02%，表明适度的跨模态特征交换可最大化性能。
• 类激活图可视化显示，与3D-ResNet、R2D和P3D相比，MMNet能更有效地突出病灶区域，后者存在3D信息丢失问题。
• 在2D分支中使用预训练的ImageNet权重的模型显著提升了性能，证明了在低数据环境下迁移学习的优势。
• 在MRNet与PGT数据集上，MMNet也取得了具有竞争力的结果，其在更大规模的PROSTATEx模型上ROC-AUC达到0.94，准确率为0.81，超越了现有的3D-CNN与预训练基线模型。