[论文解读] Spatially Aware Melanoma Segmentation Using Hybrid Deep Learning Techniques

Mohamed Attia, Mustafa Hossny+2 more|arXiv (Cornell University)|Feb 26, 2017

Cutaneous Melanoma Detection and ManagementMedicine参考文献 2被引用 16

一句话总结

本文提出了一种结合卷积神经网络（CNNs）和循环神经网络（RNNs）的混合深度学习模型，以提升黑色素瘤病灶分割中的空间精度。通过在CNN编码后使用RNN对非重叠图像块之间的空间依赖性进行建模，该方法在ISBI 2017挑战赛中取得了优于FCN和SegNet的性能，Jaccard指数达到0.93，Dice系数达到0.96，且在无需后处理的情况下对毛发和标记等伪影具有鲁棒性。

ABSTRACT

In this paper, we proposed using a hybrid method that utilises deep convolutional and recurrent neural networks for accurate delineation of skin lesion of images supplied with ISBI 2017 lesion segmentation challenge. The proposed method was trained using 1800 images and tested on 150 images from ISBI 2017 challenge.

研究动机与目标

• 解决全卷积网络中粗粒度池化导致的皮肤病灶分割过分割问题。
• 通过建模特征依赖关系的循环机制，提升病灶边界描绘的空间精度。
• 开发一种对常见成像伪影（如毛发、标记和低对比度）具有鲁棒性的方法。
• 消除分割结果中对后处理或对比度增强的需求。

提出的方法

• 该架构使用7层卷积编码器和2层最大池化层，从输入图像中提取深层特征。
• 输入的特征图被划分为非重叠的图像块，经展平后输入四向RNN（水平和垂直扫描）以建模空间上下文。
• 耦合RNN以正向和反向（例如，从左到右和从右到左）处理数据，以捕捉双向空间依赖性。
• RNN输出被拼接，并用作去卷积解码器中上下文感知特征，通过分数阶步长卷积实现掩码重建。
• 通过计算高效的步长卷积，实现了CNN和RNN组件的联合训练。
• 通过学习的去卷积层在完整输入分辨率下重建最终的分割掩码。

实验结果

研究问题

• RQ1 循环神经网络能否有效建模特征图之间的空间依赖性，从而改善皮肤病灶分割中的病灶边界定位？
• RQ2 与标准的FCN和SegNet架构相比，将CNN与RNN结合是否能减少过分割？
• RQ3 该混合模型是否能在无需后处理的情况下，对低对比度病灶以及存在毛发或标记等伪影的病灶保持高精度？
• RQ4 与FCN和SegNet等最先进模型相比，该方法在ISBI 2017基准上的定量表现如何？

主要发现

• 所提方法在ISBI 2017测试集上取得了0.93的Jaccard指数，显著优于SegNet（0.86）和FCN（0.86）。
• 该模型表现出0.96的Dice系数，表明与真实分割掩码的重叠程度很高。
• 灵敏度达到0.954，表明即使在复杂情况下也具备强大的病灶区域检测能力。
• 该方法无需对比度增强或后处理即可生成准确的分割结果，而SegNet则需要。
• 视觉结果证实了其对毛发遮挡、标记伪影和低对比度病灶的鲁棒性。
• 该模型保持了较高的特异性（0.94）和准确率（0.98），表明在多种病灶类型中均表现出可靠性能。