[论文解读] Multi-task Dictionary Learning based Convolutional Neural Network for Computer aided Diagnosis with Longitudinal Images

Jie Zhang, Qingyang Li+3 more|arXiv (Cornell University)|Aug 31, 2017

Brain Tumor Detection and Classification参考文献 25被引用 12

一句话总结

该论文提出了一种基于多任务字典学习的CNN框架，利用ImageNet的迁移学习和一种新颖的多任务随机坐标编码（MSCC）算法，联合建模多个时间点和感兴趣区域（ROIs）的纵向脑部MRI特征。与七种最先进方法相比，该方法在预测未来阿尔茨海默病临床评分（MMSE和ADAS-Cog）方面表现更优，尤其在后期时间点和ADAS-Cog评分上显著提升了准确性。

ABSTRACT

Algorithmic image-based diagnosis and prognosis of neurodegenerative diseases on longitudinal data has drawn great interest from computer vision researchers. The current state-of-the-art models for many image classification tasks are based on the Convolutional Neural Networks (CNN). However, a key challenge in applying CNN to biological problems is that the available labeled training samples are very limited. Another issue for CNN to be applied in computer aided diagnosis applications is that to achieve better diagnosis and prognosis accuracy, one usually has to deal with the longitudinal dataset, i.e., the dataset of images scanned at different time points. Here we argue that an enhanced CNN model with transfer learning for the joint analysis of tasks from multiple time points or regions of interests may have a potential to improve the accuracy of computer aided diagnosis. To reach this goal, we innovate a CNN based deep learning multi-task dictionary learning framework to address the above challenges. Firstly, we pre-train CNN on the ImageNet dataset and transfer the knowledge from the pre-trained model to the medical imaging progression representation, generating the features for different tasks. Then, we propose a novel unsupervised learning method, termed Multi-task Stochastic Coordinate Coding (MSCC), for learning different tasks by using shared and individual dictionaries and generating the sparse features required to predict the future cognitive clinical scores. We apply our new model in a publicly available neuroimaging cohort to predict clinical measures with two different feature sets and compare them with seven other state-of-the-art methods. The experimental results show our proposed method achieved superior results.

研究动机与目标

• 通过利用ImageNet的迁移学习，解决医学图像分析中标签数据有限的挑战。
• 通过纵向MRI数据提升预测阿尔茨海默病未来认知评分（MMSE和ADAS-Cog）的准确性。
• 同时建模多个时间点和大脑ROIs（海马体、侧脑室、皮层厚度）的特征，以捕捉疾病进展的动力学过程。
• 开发一种稀疏的共享-个体字典学习框架，以捕捉时间点和ROIs之间共有的和任务特定的特征。
• 通过将多任务学习与预训练CNN的深层特征表示相结合，提升模型的鲁棒性和泛化能力。

提出的方法

• 在ImageNet上预训练深度CNN，并微调为ADNI队列医学影像数据的特征提取器。
• 从三个时间点的多个ROIs（海马体、侧脑室、皮层厚度）中提取图像块（50×50）。
• 提出多任务随机坐标编码（MSCC），一种新颖的无监督字典学习方法，将字典划分为共享和个体两部分，以联合建模多个任务。
• 使用MSCC进行稀疏编码，为每个时间点和ROI生成紧凑且具有判别性的特征，促进稀疏性和可解释性。
• 在学习到的稀疏特征上应用Lasso回归，以预测未来的MMSE和ADAS-Cog评分。
• 将多个ROIs和时间点的特征整合到统一的多任务学习框架中，以提升预测性能。

实验结果

研究问题

• RQ1 从ImageNet进行迁移学习是否能改善低资源医学图像分类任务在纵向阿尔茨海默病研究中的特征表示？
• RQ2 与单时间点或单ROI方法相比，联合建模多个时间点和大脑ROIs是否能提升未来认知评分预测的准确性？
• RQ3 所提出的MSCC算法（通过分离共享字典和个体字典）在纵向神经影像数据的多任务学习中，能在多大程度上提升性能？
• RQ4 在仅使用MCI患者数据进行预测时，是否通过联合纳入MCI、AD和CN受试者的数据能提升预测性能，尤其是在后期时间点样本量较小的情况下？
• RQ5 与七种最先进方法相比，该方法在6、12和24个月随访时，预测MMSE和ADAS-Cog评分的定量表现如何？

主要发现

• 所提出的CNN-MSCC方法在预测24个月MMSE（0.837 ± 0.045）和ADAS-Cog（0.837 ± 0.045）时达到最高的R²值，优于所有七种基线方法。
• 在后期时间点（12和24个月）观察到显著改进，尤其在ADAS-Cog上，CNN-MSCC相比Lasso和Ridge基线将预测误差降低了最多1.5分。
• 在仅包含MCI的子集中，当训练数据包含AD和CN受试者时，性能得到提升，表明多样化的患者群体有助于增强模型的泛化能力和预测能力。
• MSCC-R变体在24个月ADAS-Cog预测中达到最佳R²（0.837 ± 0.045），证明了共享-个体字典分解的有效性。
• 该模型对数据稀疏性表现出鲁棒性，在数据稀缺通常导致模型准确性下降的后期时间点，仍保持一致的性能提升。
• 采用共享和个体字典的多任务学习策略，相比仅使用共享或仅使用个体字典的模型，实现了更稳定和准确的预测。