[论文解读] nnFormer: Interleaved Transformer for Volumetric Segmentation

Hong-Yu Zhou, Jiansen Guo+4 more|arXiv (Cornell University)|Sep 7, 2021

Radiomics and Machine Learning in Medical Imaging参考文献 40被引用 261

一句话总结

nnFormer 是一个用于体积医学图像分割的3D变换器，它交错卷积与自注意力，使用局部和全局基于体积的自注意力，并引入跳过注意力以在多个数据集上优于 nnUNet。

ABSTRACT

Transformer, the model of choice for natural language processing, has drawn scant attention from the medical imaging community. Given the ability to exploit long-term dependencies, transformers are promising to help atypical convolutional neural networks to overcome their inherent shortcomings of spatial inductive bias. However, most of recently proposed transformer-based segmentation approaches simply treated transformers as assisted modules to help encode global context into convolutional representations. To address this issue, we introduce nnFormer, a 3D transformer for volumetric medical image segmentation. nnFormer not only exploits the combination of interleaved convolution and self-attention operations, but also introduces local and global volume-based self-attention mechanism to learn volume representations. Moreover, nnFormer proposes to use skip attention to replace the traditional concatenation/summation operations in skip connections in U-Net like architecture. Experiments show that nnFormer significantly outperforms previous transformer-based counterparts by large margins on three public datasets. Compared to nnUNet, nnFormer produces significantly lower HD95 and comparable DSC results. Furthermore, we show that nnFormer and nnUNet are highly complementary to each other in model ensembling.

研究动机与目标

• 推动在体积医学图像分割中使用变换器，以捕捉超越局部卷积偏置的长程依赖。
• 开发一个混合型干起始模块，将卷积嵌入与变换器块交错，以保持空间精度和分层表征。
• 提出局部基于体积的（LV-MSA）和全局基于体积的（GV-MSA）自注意力，以在效率和感受野之间取得平衡。
• 引入跳过注意力，以改善类U-Net架构中的跳连通信息流。
• 证明 nnFormer 相较于基于变换器的基线具有更优的分割性能，并在模型集成中与 nnUNet 互补。

提出的方法

• 用轻量级卷积嵌入层对3D医学图像进行嵌入，以保持像素级的空间信息。
• 使用交错的编码器块，将 LV-MSA（局部3D自注意力）与卷积下采样结合，以建立多尺度特征。
• 在瓶颈中采用 GV-MSA，以在降低计算量的同时提供大感受野。
• 采用对称结构的解码器，使用上采样和跳过注意力来融合编码器与解码器的特征。
• 用跳过注意力替代传统的跳连接，以改善编码器与解码器之间的信息流。
• 在多个解码阶段进行深度监督，并对多分辨率进行联合损失训练。

实验结果

研究问题

• RQ1 具备交错卷积与自注意力块的3D变换器是否能在体积分割任务中优于纯 CNN 基础或标准变换器模型？
• RQ2 局部和全局基于体积的自注意力（LV-MSA 与 GV-MSA）是否在学习多尺度体积表示方面提供互补的优势？
• RQ3 跳过注意力是否能在类U-Net的三维分割架构中提升信息传递？
• RQ4 在脑肿瘤、多器官和心脏分割任务中，nnFormer 与 nnUNet 及其他基于变换器的模型相比如何？

主要发现

• nnFormer 在三个公开数据集上显著优于先前的基于变换器的方法。
• 与 nnUNet 相比，nnFormer 实现了更低的 HD95 和相当或更好的 DSC。
• 将 nnFormer 与 nnUNet 结合时，在平均集成中获得互补收益。
• 消融研究显示，交错的 conv+transformer stem、LV-MSA/GV-MSA 以及跳过注意力在提升分割性能方面具有有效性。