[论文解读] NestedFormer: Nested Modality-Aware Transformer for Brain Tumor Segmentation

Zhaohu Xing, Lequan Yu+3 more|arXiv (Cornell University)|Aug 31, 2022

Domain Adaptation and Few-Shot Learning被引用 5

一句话总结

本文提出 NestedFormer，一种新颖的嵌套模态感知 Transformer 模型，用于多模态脑肿瘤分割，通过分层融合机制显式建模模态内与模态间依赖关系。通过整合三向空间注意力模块与模态敏感门控机制，其在 BraTS2020 和一个私有脑膜瘤数据集上均取得了最先进性能，肿瘤分割的 Dice 分数提升 1.5%，相较先前方法平均 Dice 分数提升 1.0%。

ABSTRACT

Multi-modal MR imaging is routinely used in clinical practice to diagnose and investigate brain tumors by providing rich complementary information. Previous multi-modal MRI segmentation methods usually perform modal fusion by concatenating multi-modal MRIs at an early/middle stage of the network, which hardly explores non-linear dependencies between modalities. In this work, we propose a novel Nested Modality-Aware Transformer (NestedFormer) to explicitly explore the intra-modality and inter-modality relationships of multi-modal MRIs for brain tumor segmentation. Built on the transformer-based multi-encoder and single-decoder structure, we perform nested multi-modal fusion for high-level representations of different modalities and apply modality-sensitive gating (MSG) at lower scales for more effective skip connections. Specifically, the multi-modal fusion is conducted in our proposed Nested Modality-aware Feature Aggregation (NMaFA) module, which enhances long-term dependencies within individual modalities via a tri-orientated spatial-attention transformer, and further complements key contextual information among modalities via a cross-modality attention transformer. Extensive experiments on BraTS2020 benchmark and a private meningiomas segmentation (MeniSeg) dataset show that the NestedFormer clearly outperforms the state-of-the-arts. The code is available at https://github.com/920232796/NestedFormer.

研究动机与目标

• 解决现有多模态 MRI 分割方法依赖早期或逐层融合、未能建模复杂模态内与模态间关系的局限性。
• 开发一种框架，有效捕捉 MRI 模态内部及跨模态的长程空间依赖关系，以提升肿瘤与水肿分割性能。
• 设计一种模态无关、可扩展的架构，能够高效处理任意数量的 MRI 序列，提升特征融合与跳跃连接效率。
• 通过动态、模态感知的低级特征过滤机制，增强跳跃连接中的特征复用。

提出的方法

• 该方法采用多个全局池化 Transformer 编码器，从每种 MRI 模态中提取分层体积特征，强调全局空间一致性。
• 提出一种新型嵌套模态感知特征聚合（NMaFA）模块，实现嵌套融合：首先利用三向空间注意力 Transformer 建模模态内长程依赖，随后通过跨模态注意力 Transformer 整合模态间的互补信息。
• 三向空间注意力（TSA）机制通过并行处理三个正交轴上的特征图，加速 3D 空间一致性计算。
• 模态敏感门控（MSG）模块在跳跃连接前动态过滤并重加权低级特征，实现解码器中模态感知的特征复用。
• 该架构采用单解码器配合多编码器输入，在保持计算效率的同时支持端到端训练。

实验结果

研究问题

• RQ1 与标准的早期或中间层融合相比，嵌套的分层融合策略是否能更有效地挖掘多模态 MRI 中的模态内与模态间关系？
• RQ2 与标准自注意力机制相比，三向空间注意力是否能更有效地提升体积 MRI 数据中 3D 空间一致性的建模能力？
• RQ3 模态敏感门控是否能增强跳跃连接中的特征复用，从而提升分割精度？
• RQ4 与最先进方法相比，所提出的 NestedFormer 在公开（BraTS2020）与私有（MeniSeg）脑肿瘤分割基准上的表现如何？

主要发现

• 在 BraTS2020 基准上，NestedFormer 在肿瘤分割任务中取得 0.857 的平均 Dice 分数，在水肿分割任务中取得 0.801 的分数，优于所有对比的最先进方法。
• 在私有 MeniSeg 数据集上，NestedFormer 相较于最佳基线方法（MAML，0.819）在肿瘤分割任务中实现 1.5% 的绝对 Dice 分数提升（达到 0.834）。
• 在 MeniSeg 数据集上，NestedFormer 的水肿分割 HD95 分数最低，为 6.173，表明其边界定位精度更优。
• 消融实验表明，NMaFA 模块与 MSG 模块均对性能有显著贡献，完整模型在 MeniSeg 上取得 0.765 的最高平均 Dice 分数。
• 在 BraTS2020 与 MeniSeg 上的可视化对比显示，NestedFormer 生成的肿瘤与水肿分割结果比所有对比方法更精确、更完整。