[论文解读] Rethinking Boundary Detection in Deep Learning Models for Medical Image Segmentation

Yi Lin, Dong Zhang+4 more|arXiv (Cornell University)|May 1, 2023

Advanced Neural Network Applications被引用 4

一句话总结

本文提出 CTO，一种新颖的医学图像分割网络，通过融合卷积神经网络（CNN）、视觉Transformer（ViT）以及显式边界检测算子，以提升分割精度与边界定位能力。通过采用双流编码器结构，其中轻量级ViT用于建模长距离依赖关系，边界引导解码器结合自生成的边界掩码作为显式监督，CTO 在六个医学影像数据集上均实现了最先进性能，同时保持了高效的计算效率。

ABSTRACT

Medical image segmentation is a fundamental task in the community of medical image analysis. In this paper, a novel network architecture, referred to as Convolution, Transformer, and Operator (CTO), is proposed. CTO employs a combination of Convolutional Neural Networks (CNNs), Vision Transformer (ViT), and an explicit boundary detection operator to achieve high recognition accuracy while maintaining an optimal balance between accuracy and efficiency. The proposed CTO follows the standard encoder-decoder segmentation paradigm, where the encoder network incorporates a popular CNN backbone for capturing local semantic information, and a lightweight ViT assistant for integrating long-range dependencies. To enhance the learning capacity on boundary, a boundary-guided decoder network is proposed that uses a boundary mask obtained from a dedicated boundary detection operator as explicit supervision to guide the decoding learning process. The performance of the proposed method is evaluated on six challenging medical image segmentation datasets, demonstrating that CTO achieves state-of-the-art accuracy with a competitive model complexity.

研究动机与目标

• 为解决CNN在捕捉长距离依赖关系方面的局限性，以及ViT在缺乏平移不变性与局部特征学习能力方面的不足。
• 通过引入显式边界监督而非仅依赖隐式学习，提升医学图像分割中的边界定位能力。
• 与现有最先进架构相比，实现分割精度与模型效率之间更优的权衡。
• 验证在统一编码器-解码器框架中，融合CNN、ViT与边界算子在多样化医学影像任务中的有效性。

提出的方法

• CTO采用双流编码器结构：标准CNN主干网络用于局部特征提取，轻量级视觉Transformer（ViT）分支用于建模长距离空间依赖关系。
• 边界检测算子从中间特征图生成高质量边界掩码，提供显式监督，且无需额外标注。
• 边界引导解码器利用自生成的边界掩码作为辅助监督，以优化分割预测，尤其提升轮廓精度。
• 模型遵循标准的编码器-解码器架构，跳跃连接保留空间细节并增强特征融合。
• 引入边界增强模块（BEM）与边界注入模块（BIM），以有效将边界监督整合至解码过程。
• 消融实验验证了各组件的渐进贡献，其中边界注入机制带来的性能提升最大。

Figure 1: Illustration of our CTO, which follows an encoder-decoder paradigm, where the encoder network consists of a mainstream CNNs and an assistant ViT. The decoder network employs a boundary detection operator to guide its learning process.

实验结果

研究问题

• RQ1 显式边界监督是否能显著提升分割精度，特别是在边界模糊或不规则的器官上？
• RQ2 在双流编码器架构中结合CNN与ViT，对医学图像分割中的特征表示与模型效率有何影响？
• RQ3 从中间特征中自生成的边界掩码在不依赖额外标注的情况下，能在多大程度上提升性能？
• RQ4 与标准解码器设计相比，集成边界引导解码器是否能实现更精确的轮廓勾勒？
• RQ5 在CTO架构的整体性能提升中，各组件（CNN、ViT、边界算子）的相对贡献如何？

主要发现

• 在ISIC 2018数据集上，CTO取得91.21%的Dice系数与84.45%的IoU，分别优于之前最先进方法2.89和2.94个百分点。
• 在CoNIC数据集上，CTO取得79.77%的Dice系数、66.42%的IoU与65.58%的PQ，始终超越所有对比方法。
• 在LiTS17数据集上，CTO取得91.50%的Dice系数与84.59%的IoU，分别优于最先进方法0.26与0.45个百分点。
• 在BTCV数据集上，CTO取得81.10%的Dice系数与18.75%的HD，Dice指标优于第二名方法1.98个百分点。
• 消融实验表明，仅添加边界注入模块（BIM）即可使Dice系数提升2.89个百分点，凸显其关键作用。
• 定性结果证实，CTO生成的物体轮廓更精确、更平滑，尤其在CoNIC与ISIC数据集的模糊或微小细胞核区域表现更优。

Figure 2: Visualizations on CoNIC [ 17 ] (top two rows) and LiTS17 [ 4 ] (buttom two rows). The red boxes highlight the main difference of each method.