[论文解读] Multitask Classification and Segmentation for Cancer Diagnosis in Mammography

Thi-Lam-Thuy Le, Nicolas Thome+3 more|arXiv (Cornell University)|Sep 11, 2019

AI in cancer detection参考文献 11被引用 29

一句话总结

本文提出一种多任务深度学习框架，通过使用残差网络（ResNet）主干的全卷积网络，联合执行乳腺X线摄影中的癌症分类与病灶分割。通过多任务学习联合优化分类与分割损失，该方法在平均Dice分数上相比顺序训练提升了3.5%（38.28%），AUC提升2.5%（84.02%），证明通过共享表征学习可实现性能提升。

ABSTRACT

Annotation cost is a bottleneck for collecting massive data in mammography, especially for training deep neural networks. In this paper, we study the use of heterogeneous levels of annotation granularity to improve predictive performances. More precisely, we introduce a multi-task learning scheme for training convolutional neural network (ConvNets), which combines segmentation and classification, using image-level and pixel-level annotations. In this way, different objectives can be used to regularize training by sharing intermediate deep representations. Successful experiments are carried out on the Digital Database of Screening Mammography (DDSM) to validate the relevance of the proposed approach.

研究动机与目标

• 通过利用图像级分类和像素级分割等异质标注，提升乳腺X线摄影中的癌症诊断性能。
• 通过多任务学习在分类与分割任务间共享表征，应对标注医学数据有限的挑战。
• 通过联合训练两项任务，利用其相关性提升泛化能力，从而增强模型性能。
• 通过在分割任务上进行预训练，减少对大规模全标注数据集的依赖，从而提升分类任务性能。

提出的方法

• 该模型采用具有ResNet-50主干的全卷积网络（FCN），从输入乳腺X线图像中提取共享的局部特征。
• 分割分支（S-Net）通过1×1卷积和上采样操作，预测五类病灶的像素级分类标签。
• 分类分支（C-Net）对特征图进行全局平均池化，随后通过全连接层预测癌症是否存在（二分类）。
• 总损失为分类损失（ℒcls）的二元交叉熵与分割损失（ℒseg）的加权交叉熵的加权组合，其中λ控制损失之间的权衡。
• 通过使用类别加权交叉熵损失，缓解分割任务中的类别不平衡问题。
• 模型在DDSM数据集上通过端到端方式联合优化两项任务进行训练。

实验结果

研究问题

• RQ1 与分别训练分割和分类任务相比，联合训练分割与分类是否能提升乳腺癌诊断性能？
• RQ2 在低数据环境下，先在分割任务上进行预训练是否能提升下游分类任务的性能？
• RQ3 在异质标注（图像级与像素级）下，多任务学习如何影响乳腺X线摄影中的特征表示质量？
• RQ4 通过多任务学习学习到的共享表征是否能减少过拟合并提升医学图像分析中的泛化能力？

主要发现

• 联合多任务模型在病灶分割上的平均Dice分数达到38.28%，相比顺序训练基线（34.98%）提升了3.5个百分点。
• 联合模型在癌症分类任务中AUC达到84.02%，相比顺序方法（81.37%）提升了2.5个百分点。
• 在分类任务微调前先对分割任务进行预训练，使AUC从80.54%提升至81.37%，显示出正向迁移效应。
• 定性结果表明，与顺序基线相比，联合方法能实现更精确的病灶定位和更高的分类置信度。
• 可视化结果表明，该模型能以高空间精度捕捉细微且复杂的病灶，涵盖正常与癌症病例。
• 结果证实，多任务学习可促进分类与分割任务间的更好协作，从而在两项任务上均实现性能提升。