[论文解读] TransFusion: Multi-view Divergent Fusion for Medical Image Segmentation with Transformers

Di Liu, Yunhe Gao+9 more|arXiv (Cornell University)|Mar 21, 2022

Medical Image Segmentation Techniques被引用 4

一句话总结

TransFusion 提出了一种基于 Transformer 的新型架构，用于多视角医学图像分割，通过使用发散融合注意力（DiFA）和多尺度注意力（MSA），在未对齐的心脏 MRI 扫描中建模长距离跨视角和跨尺度依赖关系。该方法在 M&Ms-2 挑战赛中取得了最先进性能，在短轴和长轴右心室分割任务中，Dice 分数最高达到 89.78%，HD 为 8.02mm。

ABSTRACT

Combining information from multi-view images is crucial to improve the performance and robustness of automated methods for disease diagnosis. However, due to the non-alignment characteristics of multi-view images, building correlation and data fusion across views largely remain an open problem. In this study, we present TransFusion, a Transformer-based architecture to merge divergent multi-view imaging information using convolutional layers and powerful attention mechanisms. In particular, the Divergent Fusion Attention (DiFA) module is proposed for rich cross-view context modeling and semantic dependency mining, addressing the critical issue of capturing long-range correlations between unaligned data from different image views. We further propose the Multi-Scale Attention (MSA) to collect global correspondence of multi-scale feature representations. We evaluate TransFusion on the Multi-Disease, Multi-View \& Multi-Center Right Ventricular Segmentation in Cardiac MRI (M\&Ms-2) challenge cohort. TransFusion demonstrates leading performance against the state-of-the-art methods and opens up new perspectives for multi-view imaging integration towards robust medical image segmentation.

研究动机与目标

• 为解决融合未对齐的多视角医学图像（尤其是短轴和长轴心脏 MRI）以提升分割性能的挑战。
• 在传统卷积融合方法失效的异质性影像数据中，建模长距离跨视角和跨尺度依赖关系。
• 开发一种统一框架，实现在不同视角和尺度间鲁棒的、基于注意力的特征对齐。
• 证明基于 Transformer 的融合方法在多中心、多疾病心脏 MRI 分割任务中的有效性。

提出的方法

• 引入发散融合注意力（DiFA）模块，显式建模未对齐图像特征之间的跨视角上下文和语义依赖关系。
• 采用多尺度注意力（MSA）在金字塔网络架构中聚合多尺度特征表示之间的全局对应关系。
• 使用混合 3D + 2D 主干网络（3D 和 2D UTNet）分别处理短轴和长轴 cMRI 输入，再进行融合。
• 在编码器多个层级应用 DiFA 和 MSA 模块，逐步优化跨视角和跨尺度的特征表示。
• 采用混合 2.5D + 3D + 2D 网络模式，增强视角之间的空间对齐和上下文建模。
• 使用 U-Net 风格解码器，通过跳跃连接在不同尺度上融合来自 DiFA 和 MSA 模块的特征。

实验结果

研究问题

• RQ1 基于 Transformer 的架构能否有效建模未对齐多视角医学图像之间的长距离依赖关系？
• RQ2 与标准注意力或拼接操作相比，发散融合注意力（DiFA）模块在提升跨视角特征对齐和语义一致性方面表现如何？
• RQ3 在网络深度中，DiFA 模块的最佳放置位置和数量是多少，才能最大化分割性能？
• RQ4 与单视角或简单拼接式融合相比，所提出的多视角融合策略在鲁棒性和准确性方面表现如何？
• RQ5 混合 3D + 2D 网络模式在多视角心脏 MRI 上对特征对齐和分割性能的提升程度如何？

主要发现

• TransFusion 在右心室分割任务中取得了 89.78% 的 Dice 分数，显著优于次优方法 rDLA* 的 86.49%。
• 模型的平均 Hausdorff 距离（HD）为 8.02mm，是所有对比方法中最低的，表明边界精度更优。
• 消融实验表明，将 DiFA 模块置于更高编码器层级（如第 4 和第 5 层）可获得最一致的性能提升，超过第 4 层后收益递减。
• 混合 3D + 2D 网络模式优于 2.5D 和单视角基线模型，证明了视角间空间对齐的重要性。
• 当应用于 UTNet 和 MCTrans 等现有模型时，DiFA 模块始终能提升性能，证明其通用性和有效性。
• 该方法是首个在多视角医学图像分割中显式应用 Transformer 跨视角注意力的方法，为未对齐或多模态数据融合开辟了新途径。