[论文解读] Skin Lesion Analysis toward Melanoma Detection: A Challenge at the International Symposium on Biomedical Imaging (ISBI) 2016, hosted by the International Skin Imaging Collaboration (ISIC)

David Gutman, Noel Codella+5 more|arXiv (Cornell University)|May 4, 2016

Cutaneous Melanoma Detection and Management被引用 364

一句话总结

描述了一个公开的多任务黑色素瘤诊断基准（分割、皮肤镜特征检测和分类），使用 ISIC 皮肤镜图像，包含 900 训练图像和 379 测试图像，详述任务、评估指标及来自 38 名参与者的结果。

ABSTRACT

In this article, we describe the design and implementation of a publicly accessible dermatology image analysis benchmark challenge. The goal of the challenge is to sup- port research and development of algorithms for automated diagnosis of melanoma, a lethal form of skin cancer, from dermoscopic images. The challenge was divided into sub-challenges for each task involved in image analysis, including lesion segmentation, dermoscopic feature detection within a lesion, and classification of melanoma. Training data included 900 images. A separate test dataset of 379 images was provided to measure resultant performance of systems developed with the training data. Ground truth for both training and test sets was generated by a panel of dermoscopic experts. In total, there were 79 submissions from a group of 38 participants, making this the largest standardized and comparative study for melanoma diagnosis in dermoscopic images to date. While the official challenge duration and ranking of participants has concluded, the datasets remain available for further research and development.

研究动机与目标

• 提供一个公开可访问的基准，以推动从皮肤镜图像自动化黑色素瘤诊断。
• 在标准化框架内评估分割、皮肤镜特征检测和恶性分类。
• 使算法在跨机构的专家-真值标注基础上可比较。

提出的方法

• 三个挑战部分对应病变分析：分割、皮肤镜特征检测/分割（使用超像素的结节 globules 和条纹 streaks），以及疾病分类。
• 训练数据：900 张图像及其真值；测试集：379 张图像。
• 真值由皮肤镜专家标注。
• 评估平台 Covalic 支持实时提交和排名。
• 评价指标包括分割的像素级准确性、灵敏度、特异性、Dice 和 Jaccard；分类的准确性、灵敏度、特异性、平均精度、AUC、SP95、SP98。

实验结果

研究问题

• RQ1 自动方法在与专家注释相比，能在皮肤镜皮损分割方面达到怎样的效果？
• RQ2 自动系统是否能准确检测病变内的皮肤镜特征（globules、streaks），以及基于超像素的标注如何影响性能？
• RQ3 在保留数据上，自动黑色素瘤分类（良性与恶性）相对于专家基准的性能如何？

主要发现

• 来自 38 名参与者在五种任务变体中的 79 次提交。
• 分割第一名：AC 0.953, SE 0.910, SP 0.965, DI 0.910, JA 0.843 (Part 1).
• 分割（Part 2B）第一名：AC 0.962, SE 0.396, SP 0.968, DI 0.128, JA 0.070.
• 分类第一名：Part 2：AC 0.916, SE 0.505, SP 0.920, AP 0.243, AUC 0.677.
• 分类Part 3：AC 0.855, SE 0.507, SP 0.941, AP 0.637, AUC 0.804.
• 分类Part 3B：AC 0.855, SE 0.547, SP 0.931, AP 0.624, AUC 0.783。