[论文解读] SLSNet: Skin lesion segmentation using a lightweight generative adversarial network

Md. Mostafa Kamal Sarker, Hatem A. Rashwan+9 more|arXiv (Cornell University)|Jul 1, 2019

Cutaneous Melanoma Detection and Management参考文献 65被引用 60

一句话总结

SLSNet 提出了一种轻量级的基于 GAN 的皮肤病变分割模型，该模型使用 1-D 核分解、位置与通道注意力，以及多尺度聚合，在资源占用较低的情况下实现与先进方法相竞争的精度，在 GTX1080Ti 上达到 97.61% 的准确率和>110 FPS，参数量为 2.35M。

ABSTRACT

The determination of precise skin lesion boundaries in dermoscopic images using automated methods faces many challenges, most importantly, the presence of hair, inconspicuous lesion edges and low contrast in dermoscopic images, and variability in the color, texture and shapes of skin lesions. Existing deep learning-based skin lesion segmentation algorithms are expensive in terms of computational time and memory. Consequently, running such segmentation algorithms requires a powerful GPU and high bandwidth memory, which are not available in dermoscopy devices. Thus, this article aims to achieve precise skin lesion segmentation with minimum resources: a lightweight, efficient generative adversarial network (GAN) model called SLSNet, which combines 1-D kernel factorized networks, position and channel attention, and multiscale aggregation mechanisms with a GAN model. The 1-D kernel factorized network reduces the computational cost of 2D filtering. The position and channel attention modules enhance the discriminative ability between the lesion and non-lesion feature representations in spatial and channel dimensions, respectively. A multiscale block is also used to aggregate the coarse-to-fine features of input skin images and reduce the effect of the artifacts. SLSNet is evaluated on two publicly available datasets: ISBI 2017 and the ISIC 2018. Although SLSNet has only 2.35 million parameters, the experimental results demonstrate that it achieves segmentation results on a par with the state-of-the-art skin lesion segmentation methods with an accuracy of 97.61%, and Dice and Jaccard similarity coefficients of 90.63% and 81.98%, respectively. SLSNet can run at more than 110 frames per second (FPS) in a single GTX1080Ti GPU, which is faster than well-known deep learning-based image segmentation models, such as FCN. Therefore, SLSNet can be used for practical dermoscopic applications.

研究动机与目标

• 解决在有限的计算资源和内存条件下获得精准皮肤病变分割的需求。
• 开发一个轻量级的自动分割模型，使其在性能上与最先进方法竞争。
• 结合多尺度特征聚合与注意力机制，以应对毛发、低对比度以及皮肤镜图像中的边界模糊。
• 展示该模型在实时皮肤镜设备和嵌入式系统中的实用性。

提出的方法

• 使用基于 GAN 的框架（pix2pix），以生成器 G 和判别器 D 进行病变分割。
• 集成多尺度编码器，处理 1/8、1/4 和 1/2 尺度的图像以构建尺度不变的特征。
• 应用 Channel Attention Module (CAM) 和 Position Attention Module (PAM) 以增强判别性特征表征。
• 引入 1-D 核分解（FCM）模块以在保持表达能力的同时降低计算成本，随后再接 CAM。
• 使用包含二元交叉熵、L1 和 Jaccard 损失的联合损失来提高边界精度和 IoU 指标。
• 在 ISBI 2017 和 ISIC 2018 数据集上进行数据增强训练，使用 Adam 优化和基于 PSP 的阈值进行掩码转换。

实验结果

研究问题

• RQ1 一个轻量级的基于 GAN 的模型是否能在 ISBI 2017 和 ISIC 2018 数据集上实现与最先进方法竞争的分割精度？
• RQ2 在毛发、低对比度和变形病灶形状存在的情况下，结合多尺度聚合和位置及通道注意力是否能提高分割效果？
• RQ3 提出的 1-D 核分解网络是否能显著降低参数数量和计算量，以在标准 GPU 上实现实时运行？
• RQ4 将 BCE、L1 和 Jaccard 损失结合对边界精度和 IoU 指标的影响如何？

主要发现

• 在评估数据集上达到 97.61% 的准确率。
• 获得 Dice 相似系数 90.63% 和 Jaccard 相似系数 81.98%。
• 仅使用 2.35 million 参数，使 GTX1080Ti 上推理更快（~>110 FPS）。
• 在显著降低计算资源的同时提供与最先进方法相当的分割结果。
• 展示了适用于实际皮肤镜设备的实时应用性。