[论文解读] Predicting Language Recovery after Stroke with Convolutional Networks on Stitched MRI

Yusuf Roohani, Noor Sajid+3 more|arXiv (Cornell University)|Nov 26, 2018

Acute Ischemic Stroke Management参考文献 13被引用 3

一句话总结

该论文提出了一种新颖的深度学习方法，利用原始MRI扫描的拼接2D横断面图像输入2D卷积神经网络（CNN），以预测中风后的语言功能恢复，其性能与依赖专家标注病灶信息的模型相当。该方法学习到的具有区分性的脑部特征与病灶数据互补，显著性图也证实了与已知语言网络一致的区域激活。

ABSTRACT

One third of stroke survivors have language difficulties. Emerging evidence suggests that their likelihood of recovery depends mainly on the damage to language centers. Thus previous research for predicting language recovery post-stroke has focused on identifying damaged regions of the brain. In this paper, we introduce a novel method where we only make use of stitched 2-dimensional cross-sections of raw MRI scans in a deep convolutional neural network setup to predict language recovery post-stroke. Our results show: a) the proposed model that only uses MRI scans has comparable performance to models that are dependent on lesion specific information; b) the features learned by our model are complementary to the lesion specific information and the combination of both appear to outperform previously reported results in similar settings. We further analyse the CNN model for understanding regions in brain that are responsible for arriving at these predictions using gradient based saliency maps. Our findings are in line with previous lesion studies.

研究动机与目标

• 开发一种仅依赖原始MRI扫描的深度学习方法，以预测中风后的语言功能恢复，避免对专家标注病灶数据的依赖。
• 评估从拼接2D MRI切片中提取的原始图像特征是否能与基于病灶特征的模型性能相当或更优。
• 利用基于梯度的显著性图解释模型预测结果，并验证其与语言神经解剖学的对应关系。
• 评估CNN学习到的特征与手动提取的白质/灰质特征之间的相关性，以评估表征质量。

提出的方法

• 通过按解剖顺序拼接3D MRI扫描的轴向横断面，生成拼接的2D MRI切片，以保持患者间的空间对应关系。
• 在这些拼接图像上训练2D卷积神经网络，以提取分层特征，无需事先进行病灶分割。
• 使用一个独立的前馈神经网络，基于64维CNN嵌入特征和人口统计学数据，回归预测的语言功能结果（CAT口语图片描述评分）。
• 生成基于梯度的显著性图，以可视化对预测最具影响力的脑区，并在3D解剖平面中呈现结果。
• 计算CNN学习到的特征与手动分割的白质/灰质特征之间的距离相关性，以评估表征相似性。
• 使用PLORAS数据集进行模型的训练与评估，并与先前基于病灶的方法进行性能比较。

实验结果

研究问题

• RQ1 在拼接2D MRI切片上训练的深度CNN能否实现与使用专家标注病灶信息的模型相当的中风后语言功能恢复预测性能？
• RQ2 CNN学习到的特征是否与病灶特异性特征互补，使得两者结合能提高预测准确性？
• RQ3 模型生成的显著性图是否突出显示了已知参与语言处理的脑区（如右侧前额叶皮层）？
• RQ4 CNN学习到的特征与手动提取的白质和灰质特征在表征质量上的相关性如何？

主要发现

• 当结合图像特征与人口统计学数据时，所提模型的决定系数R²为0.75，皮尔逊相关系数为0.78，优于先前使用病灶特异性特征的最先进模型。
• 仅使用原始MRI数据时，模型性能（R² = 0.56，皮尔逊r = 0.60）与依赖专家标注病灶信息的模型（R² = 0.50，皮尔逊r = 0.50）相当。
• 显著性图揭示了右侧前额叶区域的显著激活，与既往关于语言功能恢复的神经影像学研究一致，验证了模型的生物学合理性。
• CNN学习到的特征与手动分割的白质/灰质特征之间的距离相关性为0.7970，表明表征对齐程度很高。
• CNN提取的图像特征与病灶特异性信息的结合，性能优于任一模态单独使用，证明了其互补性。