[论文解读] TransBTS: Multimodal Brain Tumor Segmentation Using Transformer

Wenxuan Wang, Chen Chen+4 more|arXiv (Cornell University)|Mar 7, 2021

Advanced Neural Network Applications参考文献 23被引用 123

一句话总结

TransBTS 引入 3D CNN 编码器–Transformer 架构，用于对 3D MRI 的多模态脑肿瘤分割建模局部与全局特征，在 BraTS 2019 和 2020 上达到与最先进方法竞争或优越的结果。

ABSTRACT

Transformer, which can benefit from global (long-range) information modeling using self-attention mechanisms, has been successful in natural language processing and 2D image classification recently. However, both local and global features are crucial for dense prediction tasks, especially for 3D medical image segmentation. In this paper, we for the first time exploit Transformer in 3D CNN for MRI Brain Tumor Segmentation and propose a novel network named TransBTS based on the encoder-decoder structure. To capture the local 3D context information, the encoder first utilizes 3D CNN to extract the volumetric spatial feature maps. Meanwhile, the feature maps are reformed elaborately for tokens that are fed into Transformer for global feature modeling. The decoder leverages the features embedded by Transformer and performs progressive upsampling to predict the detailed segmentation map. Extensive experimental results on both BraTS 2019 and 2020 datasets show that TransBTS achieves comparable or higher results than previous state-of-the-art 3D methods for brain tumor segmentation on 3D MRI scans. The source code is available at https://github.com/Wenxuan-1119/TransBTS

研究动机与目标

• 动机是在体积 MRI 的分割中同时建模局部 3D 上下文和全局长程依赖。
• 提出一个 3D CNN–Transformer 编码器–解码器网络（TransBTS）用于脑肿瘤分割。
• 在 BraTS 2019 和 2020 上证明有效性，并通过消融研究分析架构选择。

提出的方法

• 使用 3D CNN 编码器从多模态 MRI 提取紧凑的局部 3D 特征图。
• 将编码器特征展平并投影到与 Transformer 兼容的标记（token），并添加可学习的位置嵌入。
• 通过 Transformer 编码器处理标记，以捕获跨空间和深度维度的全局长程依赖。
• 将 Transformer 输出映射回 4D 特征图，并应用具有渐进上采样和跳跃连接的 3D CNN 解码器，以实现全分辨率分割。
• 从头在 BraTS 数据上训练，使用数据增强和 Dice 基损失，以及可选的测试时增强（TTA）。
• 在 BraTS 2019 和 2020 数据集上与最先进的 3D 分割方法进行比较。

实验结果

研究问题

• RQ1 是否能够在 3D CNN 框架中有效集成基于 Transformer 的全局上下文模型用于体积脑肿瘤分割？
• RQ2 联合建模局部 3D 上下文和全局依赖是否能在 BraTS 数据集上提升 Dice 分数和 Hausdorff 距离？
• RQ3 Transformer 深度、嵌入维度、标记序列长度和跳跃连接放置对分割性能有何影响？

主要发现

• TransBTS 在 BraTS 2019 验证集上与多种 3D 基线相比，Dice 分数具有竞争力或更优，Hausdorff 距离更小（例如，ET 78.93，WT 90.00，TC 81.94，带 TTA）。
• 在 BraTS 2019 验证上，TransBTS 含 TTA 相较于不含 TTA 在 ET、WT、TC 的 Dice 方面更好，并显示显著的 HD 降幅（例如，ET HD 3.736 mm。）。
• 在 BraTS 2020 验证上，TransBTS 有无 TTA 的 Dice 分数在 ET 和 TC 约 78.5–78.7，WT 约 89–90，HD 相对于若干基线有所提升（例如，ET HD ~16.7–17.9 mm）。
• TransBTS 的轻量化变体（更少的 Transformer 层和更小的 FFN）在 Dice 分数仍然强劲，同时将参数和 FLOPs 分别降低约 54% 和 38%。
• 消融研究显示更长的标记序列（OS=8）以及来自 U-Net 风格块的跳跃连接显著提升性能，相较于其他配置。