[论文解读] Pubic Symphysis-Fetal Head Segmentation Using Pure Transformer with Bi-level Routing Attention

Pengzhou Cai, Jiang, Lu+2 more|arXiv (Cornell University)|Sep 30, 2023

Cleft Lip and Palate Research被引用 4

一句话总结

该论文提出BRAU-Net，一种基于纯Transformer的U-Net架构，采用双层次路由注意力（BRA）以实现经会阴超声图像中耻骨联合-胎儿头部分割的高精度。该方法通过粗到细的注意力路由机制增强长距离依赖建模，在FH-PS-AOP挑战测试集上取得89.74的最终得分，展现出在临床胎儿头部下降评估中的优异性能。

ABSTRACT

In this paper, we propose a method, named BRAU-Net, to solve the pubic symphysis-fetal head segmentation task. The method adopts a U-Net-like pure Transformer architecture with bi-level routing attention and skip connections, which effectively learns local-global semantic information. The proposed BRAU-Net was evaluated on transperineal Ultrasound images dataset from the pubic symphysis-fetal head segmentation and angle of progression (FH-PS-AOP) challenge. The results demonstrate that the proposed BRAU-Net achieves comparable a final score. The codes will be available at https://github.com/Caipengzhou/BRAU-Net.

研究动机与目标

• 开发一种鲁棒的、完全基于Transformer的分割模型，用于经会阴超声图像中的耻骨联合与胎儿头部分割。
• 解决人工分割存在的耗时长、观察者间差异高的局限性。
• 通过自动化分割与进展角度（AoP）测量，实现胎儿头部下降的客观、精确且可重复的评估。
• 将双层次路由注意力整合至类似U-Net的架构中，有效捕捉局部与全局语义特征。
• 在耻骨联合-胎儿头部分割与进展角度（FH-PS-AOP）挑战中实现最先进性能。

提出的方法

• 模型采用类似U-Net的架构，其主干为纯Transformer编码器-解码器，用自注意力机制替代卷积层。
• 核心组件为BiFormer模块，通过双层次路由注意力动态地在空间区域之间及选定区域内路由注意力。
• 双层次路由包括：通过查询与键池化对非重叠图像块进行区域级注意力计算，随后选择最相关的k个区域。
• 随后仅在所选的top-k区域内部应用令牌到令牌的注意力机制，从而在保持长距离依赖性的同时降低计算成本。
• 引入可学习的局部上下文编码器（LCE），采用5×5深度可分离卷积，以增强注意力机制中的局部特征建模。
• 使用跳跃连接将编码器的多尺度特征与解码器融合，保留空间分辨率并提升定位精度。

实验结果

研究问题

• RQ1 基于纯Transformer的U-Net结合双层次路由注意力，能否在经会阴超声图像的耻骨联合-胎儿头部分割任务中实现具有竞争力的性能？
• RQ2 双层次路由注意力在保持计算效率的同时，如何提升医学图像分割中长距离依赖的建模能力？
• RQ3 与人工分割相比，所提出的BRAU-Net在胎儿头部下降评估中能在多大程度上减少观察者间差异？
• RQ4 该模型在FH-PS-AOP挑战测试集上的泛化能力如何，特别是在Dice分数、Hausdorff距离和AoP估计精度方面？
• RQ5 将局部上下文编码（LCE）与注意力机制结合，能否进一步提升低对比度超声图像中分割的精确度？

主要发现

• BRAU-Net在FH-PS-AOP挑战测试集中取得89.74的最终得分，展现出优异的泛化能力与临床相关性。
• 胎儿头部（FH）的Dice相似系数（DSC）为0.88，耻骨联合（PS）为0.80，联合区域（ALL）为0.87。
• 胎儿头部的Hausdorff距离（HD）为20.03 mm，耻骨联合为14.07 mm，表明边界定位良好。
• 胎儿头部的平均表面距离（ASD）为7.10 mm，耻骨联合为4.21 mm，反映出高精度的分割结果。
• 估算的进展角度（AOP）为12.20°，与临床预期一致，支持该模型在产科决策中的实用性。
• 模型在各项指标上均表现均衡，最终得分综合了DSC、HD、ASD与AOP，表明其在临床评估中具有鲁棒性。