[论文解读] Skin Cancer Detection and Tracking using Data Synthesis and Deep Learning

Yunzhu Li, Andre Esteva+4 more|arXiv (Cornell University)|Dec 4, 2016

Cutaneous Melanoma Detection and Management参考文献 7被引用 28

一句话总结

本文提出了一种用于皮肤癌检测与追踪的深度学习框架，通过领域特定的数据合成来克服数据稀缺问题。通过泊松混合和广泛增强，在身体部位上合成逼真的皮肤病变图像，该方法训练一个全卷积网络以实现像素级病变分类，并训练一个追踪网络以实现时间上的对应关系，在仅使用少量标注样本的真实临床数据上，性能优于基线方法。

ABSTRACT

Dense object detection and temporal tracking are needed across applications domains ranging from people-tracking to analysis of satellite imagery over time. The detection and tracking of malignant skin cancers and benign moles poses a particularly challenging problem due to the general uniformity of large skin patches, the fact that skin lesions vary little in their appearance, and the relatively small amount of data available. Here we introduce a novel data synthesis technique that merges images of individual skin lesions with full-body images and heavily augments them to generate significant amounts of data. We build a convolutional neural network (CNN) based system, trained on this synthetic data, and demonstrate superior performance to traditional detection and tracking techniques. Additionally, we compare our system to humans trained with simple criteria. Our system is intended for potential clinical use to augment the capabilities of healthcare providers. While domain-specific, we believe the methods invoked in this work will be useful in applying CNNs across domains that suffer from limited data availability.

研究动机与目标

• 通过生成合成训练数据，解决皮肤科领域标注数据有限的挑战。
• 在视觉复杂度高的临床图像中，实现对恶性与良性皮肤病变的准确检测。
• 开发一个鲁棒的追踪系统，以识别序列图像中病变的时间变化。
• 仅使用1,300张活检证实的病变图像和400张身体图像，证明在检测与追踪任务中达到最先进性能。
• 创建一个可迁移的框架，适用于其他低数据量的医学影像领域。

提出的方法

• 通过泊松图像编辑技术，将1,300张活检证实的病变图像混合到400张分割后的身体图像上，生成逼真的外观的训练数据。
• 对病变图像和身体图像均应用广泛的增强技术（旋转、缩放、色彩抖动），以提升多样性与鲁棒性。
• 训练一个带有跳跃连接的全卷积网络（FCN），实现像素级分类，分为三类：背景、良性病变和恶性病变。
• 通过非极大值抑制和阈值处理对FCN的热力图输出进行后处理，生成可解释的病变候选区域。
• 通过应用几何与光度变换于检测图像，构建图像对，以模拟姿态和病变外观的时间变化。
• 使用带有共享编码器和残差连接的孪生网络架构训练追踪网络，预测图像对之间的逐像素位移场。

实验结果

研究问题

• RQ1 合成数据生成是否能在低数据环境下显著提升皮肤病变检测性能？
• RQ2 在合成数据上训练的全卷积网络是否能在真实临床图像上实现人类可解释的病变检测？
• RQ3 基于深度学习的追踪系统是否能准确预测在姿态和外观变化下，时间相邻的皮肤图像之间的像素级对应关系？
• RQ4 与传统的滑动窗口检测和SIFTFlow方法相比，所提出方法在检测与追踪精度方面表现如何？
• RQ5 在真实世界临床皮肤影像场景中，基于合成数据训练的模型在多大程度上具有泛化能力？

主要发现

• 所提出的检测方法在108张临床图像的测试集上，AUC值高于滑动窗口基线方法和非专家人类读者。
• 通过后处理，检测网络生成了人类可解释的结果，有效突出了复杂皮肤区域中的可疑病变。
• 追踪网络在PCK指标上优于SIFTFlow和DSP基线方法，实现了在多样化成像条件下的更高精度关键点对应预测。
• 追踪系统对姿态、光照、背景以及病变形状/大小随时间的变化表现出鲁棒性。
• 使用合成数据使得仅用1,300张标注病变图像和400张身体图像即可训练出高性能的检测与追踪系统，证明在低数据环境下具有有效性。
• 检测网络的权重成功用于初始化追踪网络，提升了训练效率与性能。