[论文解读] XBound-Former: Toward Cross-scale Boundary Modeling in Transformers

Jiacheng Wang, Fei Chen+7 more|arXiv (Cornell University)|Jun 2, 2022

Cutaneous Melanoma Detection and Management被引用 5

一句话总结

XBound-Former 提出了一种用于皮肤病变分割的跨尺度边界感知变换器，通过三种专用的基于注意力的学习器，整合了隐式、显式和跨尺度的边界建模。该方法在边界相关指标上表现优异，尤其在 ISIC-2016&PH2 和 ISIC-2018 数据集上超越了基于 CNN 和基于 Transformer 的模型，达到最先进性能。

ABSTRACT

Skin lesion segmentation from dermoscopy images is of great significance in the quantitative analysis of skin cancers, which is yet challenging even for dermatologists due to the inherent issues, i.e., considerable size, shape and color variation, and ambiguous boundaries. Recent vision transformers have shown promising performance in handling the variation through global context modeling. Still, they have not thoroughly solved the problem of ambiguous boundaries as they ignore the complementary usage of the boundary knowledge and global contexts. In this paper, we propose a novel cross-scale boundary-aware transformer, extbf{XBound-Former}, to simultaneously address the variation and boundary problems of skin lesion segmentation. XBound-Former is a purely attention-based network and catches boundary knowledge via three specially designed learners. We evaluate the model on two skin lesion datasets, ISIC-2016\&PH$^2$ and ISIC-2018, where our model consistently outperforms other convolution- and transformer-based models, especially on the boundary-wise metrics. We extensively verify the generalization ability of polyp lesion segmentation that has similar characteristics, and our model can also yield significant improvement compared to the latest models.

研究动机与目标

• 解决皮肤病变在皮肤镜图像中边界模糊且多变的挑战，即使对皮肤科医生而言仍具难度。
• 克服现有视觉变换器在多尺度下未能有效利用边界知识和全局上下文的局限性。
• 开发一种完全基于注意力的架构，整合边界监督，而不依赖卷积归纳偏置。
• 通过在多尺度上显式建模边界并实现跨尺度引导，提升分割精度。
• 在具有类似边界模糊挑战的其他医学图像分割任务（如息肉分割）中验证方法的泛化能力。

提出的方法

• 引入隐式边界学习器（im-Bound），通过将自注意力聚焦于边界变化较高的区域，增强局部上下文感知，同时保持全局建模能力。
• 提出显式边界学习器（ex-Bound），在多尺度下检测并嵌入边界关键点，提供多尺度边界表征。
• 设计跨尺度边界学习器（X-Bound），利用某一尺度的边界嵌入来引导其他尺度的注意力，实现跨尺度边界优化。
• 采用双分支变换器架构，使边界知识在无共享主干权重的情况下学习与融合，降低任务间的干扰。
• 使用可学习查询机制，动态关注边界感知特征，将边界监督直接整合到自注意力机制中。
• 通过标准分割损失与边界感知监督的组合进行模型优化，并通过消融实验验证各组件的有效性。

实验结果

研究问题

• RQ1 完全基于注意力的变换器是否能在无卷积归纳偏置的情况下，有效建模皮肤病变分割中的模糊边界？
• RQ2 多尺度边界表征学习如何提升在大小、形状和低对比度各异的病变上的分割性能？
• RQ3 不同分辨率特征之间的跨尺度引导在多大程度上提升了边界定位的准确性？
• RQ4 所提出的边界建模组件是否能泛化到其他具有类似挑战的医学影像分割任务中？
• RQ5 在扩展边界学习器数量时，模型复杂度与性能之间的最优权衡是什么？

主要发现

• XBound-Former 在 ISIC-2016&PH2 和 ISIC-2018 数据集上均达到最先进性能，尤其在边界相关指标（如 DSC 和 HD）上实现显著提升。
• 消融实验表明，im-Bound、ex-Bound 和 X-Bound 三个组件均对性能提升有贡献，其中 X-Bound 在边界精度方面带来最显著的改进。
• 该模型在边界模糊或定义不清的病变上，优于现有基于 CNN 和基于 Transformer 的方法。
• 在息肉分割任务中验证了泛化能力，XBound-Former 在相同基准上显著超越了最新模型。
• 最优配置为使用两个 im-Bound 和两个 ex-Bound 学习器（N_im=2, N_ex=2），在精度与推理效率之间实现良好平衡。
• 尽管性能优异，该模型在极低对比度病变上仍存在困难，表明通过融合低级特征提取器仍有改进空间。