[论文解读] TESL-Net: A Transformer-Enhanced CNN for Accurate Skin Lesion Segmentation

Shahzaib Iqbal, Muhammad Zeeshan+3 more|arXiv (Cornell University)|Aug 19, 2024

Cutaneous Melanoma Detection and ManagementMedicine被引用 3

一句话总结

TESL-Net 提出了一种混合深度学习架构，结合 CNN 编码器-解码器与 Swn Transformer 模块及 Bi-ConvLSTM 模块，以提升皮肤病变分割性能。通过在跳跃连接中整合全局上下文信息（利用 Transformer）与序列建模（利用 Bi-ConvLSTM），该方法在 ISIC 2017 和 ISIC 2018 数据集上实现了最先进性能，Jaccard 指数最高提升 11.22%。

ABSTRACT

Early detection of skin cancer relies on precise segmentation of dermoscopic images of skin lesions. However, this task is challenging due to the irregular shape of the lesion, the lack of sharp borders, and the presence of artefacts such as marker colours and hair follicles. Recent methods for melanoma segmentation are U-Nets and fully connected networks (FCNs). As the depth of these neural network models increases, they can face issues like the vanishing gradient problem and parameter redundancy, potentially leading to a decrease in the Jaccard index of the segmentation model. In this study, we introduced a novel network named TESL-Net for the segmentation of skin lesions. The proposed TESL-Net involves a hybrid network that combines the local features of a CNN encoder-decoder architecture with long-range and temporal dependencies using bi-convolutional long-short-term memory (Bi-ConvLSTM) networks and a Swin transformer. This enables the model to account for the uncertainty of segmentation over time and capture contextual channel relationships in the data. We evaluated the efficacy of TESL-Net in three commonly used datasets (ISIC 2016, ISIC 2017, and ISIC 2018) for the segmentation of skin lesions. The proposed TESL-Net achieves state-of-the-art performance, as evidenced by a significantly elevated Jaccard index demonstrated by empirical results.

研究动机与目标

• 解决由于不规则形状、模糊边界以及毛发和标记颜色等伪影导致的皮肤病变在皮肤镜图像中精确分割的挑战。
• 克服深度 CNN 的局限性，如梯度消失和参数冗余，这些因素会降低分割性能。
• 通过将长距离依赖关系和时序建模整合到 U-Net 类架构中，增强特征表示能力。
• 通过创新性地融合 CNN、Swin Transformer 和 Bi-ConvLSTM 组件，提升在基准数据集（ISIC 2016、2017、2018）上的分割精度。
• 在多个公开皮肤病变分割基准上，实现 Jaccard 指数、Dice 评分及其他指标的最先进性能。

提出的方法

• 采用 U-Net 风格的编码器-解码器架构作为主干网络，用于特征学习与分割。
• 在编码器中集成 Swin Transformer 模块，以捕捉长距离上下文关系与全局图像依赖性。
• 在跳跃连接中插入 Bi-ConvLSTM 模块，以建模特征图之间的时序与时空依赖关系。
• 通过多尺度特征融合与跳跃连接，保留空间细节的同时增强语义表征。
• 利用 Swin Transformer 中的多头自注意力机制，动态加权局部与全局感受野中的特征重要性。
• 使用二元交叉熵损失与 Dice 损失联合训练端到端模型，以优化皮肤病变边界处的分割性能。

Figure 1: Challenges in skin lesion segmentation.

实验结果

研究问题

• RQ1 与标准 U-Net 及最先进模型相比，结合 CNN、Transformer 和 Bi-ConvLSTM 的混合架构是否能提升皮肤病变分割的准确性？
• RQ2 Swin Transformer 模块在捕捉具有复杂纹理与伪影的皮肤镜图像中的长距离上下文特征方面是否有效？
• RQ3 在跳跃连接中引入 Bi-ConvLSTM 模块，对通过建模特征图间时空依赖关系来增强特征表征的能力有多大提升？
• RQ4 所提出的 TESL-Net 架构是否能在具有不同病变形态、对比度及伪影存在的多样化皮肤病变数据集中实现良好泛化？
• RQ5 将局部建模（CNN）、全局建模（Transformer）与序列建模（Bi-ConvLSTM）融合，是否能在 Jaccard 指数与 Dice 评分等标准评估指标上实现更优性能？

主要发现

• 在 ISIC 2017 数据集上，TESL-Net 的 Jaccard 指数（IoU）达到 86.91%，比之前最先进方法（RA-Net）高出 2.02%。
• 在 ISIC 2018 数据集上，TESL-Net 的 Jaccard 指数达到 90.56%，比次优方法（RA-Net）高出 2.22%。
• 在 ISIC 2018 上，该模型的 Dice 评分达到 94.22%，表明预测分割掩码与真实掩码之间重叠度很高。
• 在 ISIC 2016 基准测试中，TESL-Net 的 Jaccard 指数比最先进方法高出 8.13%，证实其在多个数据集上均具有一致优越性。
• 可视化对比显示，TESL-Net 能够有效处理不规则病变形状、低对比度、毛发及墨水伪影等复杂情况。
• 在 ISIC 2017 上，该模型的特异性达到 97.29%；在 ISIC 2018 上达到 97.21%，表明其在正确识别健康皮肤区域方面表现优异。

Figure 2: Schematic of the proposed method. (a) Block diagram of the proposed TESL-Net, (b) Swin Transformer Block.