[论文解读] Predictive Image Regression for Longitudinal Studies with Missing Data

Sharmin Pathan, Yi Hong|arXiv (Cornell University)|Aug 19, 2018

Statistical Methods and Inference参考文献 21被引用 14

一句话总结

本论文提出了一种深度学习框架，通过在LDDMM框架中对时间可变形变进行建模，利用向量动量序列来预测存在缺失数据的纵向医学影像序列。采用CNN-LSTM架构编码基线图像和动量序列，通过微分同胚变形重建影像扫描，即使在时间间隔不规则和扫描缺失的情况下，也能实现准确且清晰的预测，该方法在合成数据和OASIS MRI数据集上均得到验证。

ABSTRACT

In this paper, we propose a predictive regression model for longitudinal images with missing data based on large deformation diffeomorphic metric mapping (LDDMM) and deep neural networks. Instead of directly predicting image scans, our model predicts a vector momentum sequence associated with a baseline image. This momentum sequence parameterizes the original image sequence in the LDDMM framework and lies in the tangent space of the baseline image, which is Euclidean. A recurrent network with long term-short memory (LSTM) units encodes the time-varying changes in the vector-momentum sequence, and a convolutional neural network (CNN) encodes the baseline image of the vector momenta. Features extracted by the LSTM and CNN are fed into a decoder network to reconstruct the vector momentum sequence, which is used for the image sequence prediction by deforming the baseline image with LDDMM shooting. To handle the missing images at some time points, we adopt a binary mask to ignore their reconstructions in the loss calculation. We evaluate our model on synthetically generated images and the brain MRIs from the OASIS dataset. Experimental results demonstrate the promising predictions of the spatiotemporal changes in both datasets, irrespective of large or subtle changes in longitudinal image sequences.

研究动机与目标

• 解决纵向研究中因数据采样不规则或部分缺失而导致的随访医学影像扫描预测挑战。
• 克服标准深度学习模型在类似视频预测任务中常见的图像模糊问题。
• 将LDDMM影像配准的几何保真度与深度神经网络的数据驱动学习能力相结合。
• 实现无需复杂平行传输运算的个体化影像预测。
• 开发一种可扩展的端到端框架，既能学习群体水平趋势，又能支持个性化轨迹预测。

提出的方法

• 该模型预测与基线图像相关的向量动量序列，这些序列在LDDMM框架下参数化影像形变。
• 卷积神经网络（CNN）将基线图像编码为基线图像切空间中的特征表示。
• 长短期记忆网络（LSTM）对随时间变化的向量动量序列进行编码，以捕捉时间动态。
• 将CNN和LSTM的特征进行融合并解码，以重建用于影像预测的向量动量序列。
• 在训练过程中应用二值掩码，忽略缺失时间点的损失计算，从而实现对不完整纵向数据的鲁棒处理。
• 通过使用LDDMM射击方法和预测的动量序列对基线图像进行形变，重建影像序列。

实验结果

研究问题

• RQ1 深度学习模型能否准确预测具有不规则时间间隔和缺失扫描的纵向医学影像序列？
• RQ2 该模型在纵向MRI数据中能否有效捕捉细微的、渐进性的解剖学变化，如脑室扩大？
• RQ3 将LDDMM与深度神经网络结合，是否相比标准基于像素的视频预测网络能提升预测的清晰度？
• RQ4 该模型能否在具有已知形变模式的合成数据以及真实临床数据集（如OASIS）上实现泛化？
• RQ5 在切空间中使用向量动量序列在多大程度上提升了模型重建准确且解剖上合理的影像序列的能力？

主要发现

• 在OASIS数据集中，非痴呆受试者的平均预测误差为5.8616e-4 ± 1.0703e-4，痴呆受试者为6.1105e-4 ± 1.9793e-4，表明在重建影像序列方面具有高精度。
• 该模型成功捕捉到细微的脑萎缩进展，包括脑室扩大，变形图显示脑室周围网格随时间逐渐扩张。
• 预测影像与实际扫描之间的差异始终小于随访扫描与基线图像之间的差异，表明重建保真度得到提升。
• 该模型从群体图谱出发，成功生成了正向和反向时间方向的合理影像序列，揭示了与神经退行性病变一致的渐进性脑部变化。
• 训练过程中使用二值掩码有效忽略了缺失数据点，使模型在观测时间表不完整的情况下仍能保持高性能。
• 该架构在预测缺失扫描（包括时间跨度较大的情况）方面表现出鲁棒性，通过从纵向数据中学习群体水平形变趋势实现。