[论文解读] TranSiam: Fusing Multimodal Visual Features Using Transformer for Medical Image Segmentation

Xuejian Li, Shiqiang Ma+2 more|arXiv (Cornell University)|Apr 26, 2022

Advanced Neural Network Applications被引用 15

一句话总结

TranSiam 提出了一种用于多模态医学图像分割的2D双路Transformer-CNN网络，通过一种新颖的TMM模块融合特征，该模块结合了交叉注意力与自注意力机制。该方法在BraTS 2019和2020数据集上实现了最先进性能，Dice分数达到89.26%，HD95为4.77，优于纯CNN和纯Transformer模型，同时仅使用7.98M参数。

ABSTRACT

Automatic segmentation of medical images based on multi-modality is an important topic for disease diagnosis. Although the convolutional neural network (CNN) has been proven to have excellent performance in image segmentation tasks, it is difficult to obtain global information. The lack of global information will seriously affect the accuracy of the segmentation results of the lesion area. In addition, there are visual representation differences between multimodal data of the same patient. These differences will affect the results of the automatic segmentation methods. To solve these problems, we propose a segmentation method suitable for multimodal medical images that can capture global information, named TranSiam. TranSiam is a 2D dual path network that extracts features of different modalities. In each path, we utilize convolution to extract detailed information in low level stage, and design a ICMT block to extract global information in high level stage. ICMT block embeds convolution in the transformer, which can extract global information while retaining spatial and detailed information. Furthermore, we design a novel fusion mechanism based on cross attention and selfattention, called TMM block, which can effectively fuse features between different modalities. On the BraTS 2019 and BraTS 2020 multimodal datasets, we have a significant improvement in accuracy over other popular methods.

研究动机与目标

• 解决CNN在捕捉全局上下文方面的局限性，以及Transformer在低资源医学影像中丢失细粒度细节的问题。
• 通过有效融合不同成像序列的视觉特征，提升多模态医学图像分割性能。
• 设计一种轻量化、参数高效的网络架构，结合卷积神经网络与自注意力机制的优势。
• 减少模态特异性特征差异，并在融合过程中增强跨模态特征对齐。

提出的方法

• TranSiam采用双路编码器提取模态特异性特征，低层特征使用标准卷积，高层特征则通过ICMT模块建模全局表征。
• ICMT模块将深度可分离卷积整合进自注意力机制，既保留空间与细节信息，又能实现全局上下文建模。
• 提出一种新型TMM（基于Transformer的多模态）融合模块，利用交叉注意力与自注意力机制，建模模态间相关性，并在高层特征层进行特征融合。
• 网络采用类似U-Net的解码器结构，通过跳跃连接整合融合后的高层特征，实现精确分割。
• 模型将Transformer中的标准线性投影与MLP替换为深度可分离卷积与3×3残差块，以提升参数效率并保留细节。
• 训练在BraTS 2019和2020数据集上进行，未使用集成或后处理，以确保公平比较。

实验结果

研究问题

• RQ1 混合CNN-Transformer架构能否在低资源医学图像分割中有效捕捉局部细节与全局上下文？
• RQ2 如何有效融合来自不同成像序列的多模态视觉特征，同时保留模态特异性信息？
• RQ3 具有卷积归纳偏置的轻量化Transformer变体能否在多模态分割中超越标准Transformer与CNN？
• RQ4 仅在高层特征层进行融合是否能减少模态特异性干扰并提升分割精度？

主要发现

• TranSiam在BraTS 2019验证集上取得89.26%的Dice相似度分数，超越所有3D经典方法，包括3D U-Net、V-Net与TransBTS。
• 该模型HD95为4.77，低于所有对比方法，表明边界分割精度更优。
• 在BraTS 2020数据集上，TranSiam在所有对比方法中取得最高Dice与敏感度分数，证明其在病灶区域检测方面表现更优。
• 消融实验证实，通过ICMT与TMM模块将卷积与Transformer结合可获得最佳性能，优于仅使用线性投影或MLP的模型。
• TranSiam仅使用7.98百万参数，显著少于TransBTS的32.99M，证明其在保持高性能的同时具备高度参数效率。
• 可视化分析表明，TranSiam能成功分割其他模型遗漏的小尺寸及低对比度肿瘤，验证其在保留细粒度细节方面的优势。