[论文解读] Spatio-Temporal Convolutional LSTMs for Tumor Growth Prediction by Learning 4D Longitudinal Patient Data

Ling Zhang, Le Lü+5 more|arXiv (Cornell University)|Feb 23, 2019

Radiomics and Machine Learning in Medical Imaging参考文献 41被引用 8

一句话总结

该论文提出了一种时空卷积LSTM（ST-ConvLSTM）模型，通过联合学习4D纵向肿瘤影像数据（3D + 时间）中的3D空间上下文和纵向时间动态，以预测未来的肿瘤体积、细胞密度和CT强度。该方法在33例胰腺神经内分泌肿瘤数据集上实现了11.2%的相对体积差异（RVD）和83.2%的Dice分数，显著优于传统模型和基于2D的方法。

ABSTRACT

Prognostic tumor growth modeling via volumetric medical imaging observations can potentially lead to better outcomes of tumor treatment and surgical planning. Recent advances of convolutional networks have demonstrated higher accuracy than traditional mathematical models in predicting future tumor volumes. This indicates that deep learning-based techniques may have great potentials on addressing such problem. However, current 2D patch-based modeling approaches cannot make full use of the spatio-temporal imaging context of the tumor's longitudinal 4D (3D + time) data. Moreover, they are incapable to predict clinically-relevant tumor properties, other than volumes. In this paper, we exploit to formulate the tumor growth process through convolutional Long Short-Term Memory (ConvLSTM) that extract tumor's static imaging appearances and capture its temporal dynamic changes within a single network. We extend ConvLSTM into the spatio-temporal domain (ST-ConvLSTM) by jointly learning the inter-slice 3D contexts and the longitudinal or temporal dynamics from multiple patient studies. Our approach can incorporate other non-imaging patient information in an end-to-end trainable manner. Experiments are conducted on the largest 4D longitudinal tumor dataset of 33 patients to date. Results validate that the ST-ConvLSTM produces a Dice score of 83.2%+-5.1% and a RVD of 11.2%+-10.8%, both significantly outperforming (p<0.05) other compared methods of linear model, ConvLSTM, and generative adversarial network (GAN) under the metric of predicting future tumor volumes. Additionally, our new method enables the prediction of both cell density and CT intensity numbers. Last, we demonstrate the generalizability of ST-ConvLSTM by employing it in 4D medical image segmentation task, which achieves an averaged Dice score of 86.3+-1.2% for left-ventricle segmentation in 4D ultrasound with 3 seconds per patient.

研究动机与目标

• 通过利用完整的4D（3D + 时间）纵向医学影像数据，提升肿瘤生长预测的准确性，而当前的2D切片方法未能有效利用此类数据。
• 开发一种深度学习模型，能够在单一端到端可训练架构中捕捉肿瘤的静态形态和动态时间演变。
• 将ConvLSTM扩展到时空域，联合建模切片间的3D上下文和纵向肿瘤进展。
• 通过统一框架预测体积以外的临床相关肿瘤属性，如细胞密度和CT强度。
• 通过在4D医学图像分割任务中应用模型并仅使用少量人工标注，证明其泛化能力。

提出的方法

• ST-ConvLSTM通过在单个循环架构中整合切片间的3D空间上下文和时间点间的时间动态，扩展了标准ConvLSTM。
• 该模型处理4D肿瘤影像序列（随时间变化的3D体积），以学习切片内特征和切片间的3D结构关系。
• 以端到端可训练的方式，将非影像临床因素（如时间间隔、患者特异性数据）作为额外输入通道进行整合。
• 网络采用编码器-解码器结构并结合跳跃连接，以保留空间细节并改善特征重建。
• 多任务头从同一特征空间同时预测肿瘤体积、细胞密度和放射密度。
• 模型使用像素级L2损失函数进行训练，以最小化预测未来肿瘤状态的重建误差。

实验结果

研究问题

• RQ1 能否通过联合学习4D影像数据中的3D空间上下文和时间动态，使深度学习模型在肿瘤体积预测上优于基于2D的方法或传统数学模型？
• RQ2 所提出的ST-ConvLSTM模型是否不仅能预测肿瘤体积，还能预测细胞密度和CT强度等临床相关属性？
• RQ3 时间间隔特征的引入在多大程度上提升了模型对长期肿瘤生长的预测性能？
• RQ4 ST-ConvLSTM在其他4D医学影像任务（如稀疏标注下的分割）中具有多大程度的泛化能力？
• RQ5 当预测超出下一个时间步的肿瘤进展时，尤其是长时间间隔时，模型是否仍能保持高精度？

主要发现

• ST-ConvLSTM在预测未来肿瘤体积时实现了11.2% ± 10.8%的相对体积差异（RVD）和83.2% ± 5.1%的Dice分数，显著优于基线方法（p < 0.05）。
• 该模型能够同时预测肿瘤体积以及额外属性——细胞密度和CT强度，展示了多属性回归能力。
• 在仅使用稀疏人工标注的情况下，ST-ConvLSTM在4D左心室分割任务中实现了86.3% ± 1.2%的平均Dice分数，表明其在分割任务中具有强大的泛化能力。
• 时间间隔特征的引入在本数据集中未显著提升性能，可能由于时间间隔一致且肿瘤生长缓慢。
• 长期预测（如时间点4）的误差更高（RVD = 37.2%），相比短期预测（时间点3时RVD = 15.7%），证实了长程预测的固有难度。
• 对抗性训练和残差连接被识别为未来减少模糊预测和提升模型鲁棒性的有前景方向。