[论文解读] Supervised and Unsupervised Tumor Characterization in the Deep Learning Era.

Sarfaraz Hussein, Maria M. J. Chuquicusma+4 more|arXiv (Cornell University)|Jan 10, 2018

AI in cancer detection参考文献 42被引用 12

一句话总结

本文提出了一种基于监督与非监督深度学习的方法，以提升医学影像中的肿瘤表征能力，采用3D卷积神经网络（CNN）结合迁移学习，以及图正则化的多任务学习框架用于监督学习；在弱监督场景下，采用一种新型的proportion-SVM算法，结合生成对抗网络（GANs）进行无监督表示学习。该方法在1,018例CT和171例MRI扫描中对肺部与胰腺肿瘤分类任务实现了显著的性能提升。

ABSTRACT

Computer Aided Diagnosis (CAD) tools are often needed for fast and accurate detection, characterization, and risk assessment of different tumors from radiology images. Any improvement in robust and accurate image-based tumor characterization can assist in determining non-invasive cancer stage, prognosis, and personalized treatment planning as a part of precision medicine. In this study, we propose both supervised and unsupervised machine learning strategies to improve tumor characterization. Our first approach is based on supervised learning for which we demonstrate significant gains in learning algorithms, particularly Convolutional Neural Network (CNN), by utilizing completely 3D approach and transfer learning to address the requirements of volumetric and large amount of training data, respectively. Motivated by the radiologists' interpretations of the scans, we then show how to incorporate task dependent feature representations into a CAD system via a graph regularized sparse Multi-Task Learning (MTL) framework. In the second approach, we explore an unsupervised scheme in order to address the limited availability of labeled training data, a common problem in medical imaging applications. Inspired by learning from label proportion (LLP) approaches, we propose a new algorithm, proportion-SVM, to characterize tumor types. In this second approach, we also seek the answer to the fundamental question about the goodness of deep features for unsupervised tumor classification. Finally, we study the effect of unsupervised representation learning using Generative Adversarial Networks (GAN) on classification performance. We evaluate our proposed approaches (both supervised and unsupervised) on two different tumor diagnosis challenges: lung and pancreas with 1018 CT and 171 MRI scans respectively.

研究动机与目标

• 通过先进的深度学习技术提升放射影像中的肿瘤表征能力，以实现更优的癌症分期与个性化治疗规划。
• 通过开发无监督与弱监督学习策略，应对医学影像中标签数据有限的挑战。
• 评估通过无监督表示学习所学习到的深度特征在肿瘤分类中的有效性。
• 将放射科医生提供的任务特定特征表示整合到多任务学习框架中，以提升诊断准确性。
• 评估生成对抗网络（GANs）在提升肿瘤分类任务表示学习方面的性能。

提出的方法

• 采用带有迁移学习的3D卷积神经网络（CNN），以处理大规模的体素医学影像数据并提升特征学习能力。
• 实施图正则化的稀疏多任务学习（MTL）框架，以整合来自放射科医生解读的特定任务特征表示。
• 提出一种名为proportion-SVM的新算法，受学习标签比例（LLP）启发，用于在标注信息有限的条件下执行弱监督肿瘤分类。
• 利用生成对抗网络（GANs）进行无监督表示学习，以在无需完整实例级标签的情况下提升特征质量。
• 将预训练网络提取的深度特征与proportion-SVM结合，仅使用扫描级别的标签比例对肿瘤类型进行分类。
• 在两个临床数据集上训练并评估模型：1,018例肺部CT扫描与171例胰腺MRI扫描，重点聚焦于肿瘤类型分类任务。

实验结果

研究问题

• RQ1 与2D方法相比，采用迁移学习的3D CNN是否能在体素医学影像中显著提升肿瘤表征性能？
• RQ2 图正则化的多任务学习框架在整合放射科医生提供的特征以提升诊断性能方面有多有效？
• RQ3 当仅有有限或无标签数据时，通过GANs实现的无监督表示学习在多大程度上能提升分类准确率？
• RQ4 proportion-SVM算法是否是仅使用扫描级别标签比例进行弱监督肿瘤分类的可行解决方案？
• RQ5 通过无监督方式学习到的深度特征在多大程度上能泛化到下游的肿瘤分类任务中？

主要发现

• 所提出的采用迁移学习的3D CNN在肺部与胰腺肿瘤数据集上显著提升了肿瘤表征性能，得益于对体素上下文信息的有效利用。
• 图正则化的多任务学习框架通过有效整合来自放射科影像解读的特定任务特征，提升了分类准确率。
• proportion-SVM算法在弱监督肿瘤分类中表现出具有竞争力的性能，证明了从标签比例中学习的可行性。
• 通过GANs实现的无监督表示学习提升了下游分类性能，表明GANs学习到的深度特征对肿瘤类型分类具有有效性。
• 将无监督预训练获得的深度特征与proportion-SVM结合，显著提升了泛化能力，尤其在数据量较少的场景下表现更优。
• 3D CNN、迁移学习与多任务学习的联合应用，构建了一个在不同成像模态下均具备鲁棒性与高准确率的肿瘤诊断CAD系统。