[论文解读] Real-time Prediction of Soft Tissue Deformations Using Data-driven Nonlinear Presurgical Simulations

Haolin Liu, Ye Han+5 more|arXiv (Cornell University)|Oct 26, 2020

Medical Imaging and Analysis参考文献 25被引用 4

一句话总结

本文提出一种数据驱动的人工神经网络（ANN）方法，用于在图像引导手术中实时预测软组织形变，利用稀疏注册的金标准标记点。通过利用有限元法（FEM）生成的形变基准数据，并结合主成分分析（PCA）进行降维，该方法实现了亚毫米级精度（98%的病例平均偏移<1.0 mm），预测时间低于0.5秒，展现出在术中软组织追踪方面强大的临床潜力。

ABSTRACT

Imaging modalities provide clinicians with real-time visualization of anatomical regions of interest (ROI) for the purpose of minimally invasive surgery. During the procedure, low-resolution image data are acquired and registered with high-resolution preoperative 3D reconstruction to guide the execution of surgical preplan. Unfortunately, due to the potential large strain and nonlinearities in the deformation of soft biological tissues, significant mismatch may be observed between ROI shapes during pre- and intra-operative imaging stages, making the surgical preplan prone to failure. In an effort to bridge the gap between the two imaging stages, this paper presents a data-driven approach based on artificial neural network for predicting the ROI deformation in real-time with sparsely registered fiducial markers. For a head-and-neck tumor model with an average maximum displacement of 30 mm, the maximum surface offsets between benchmarks and predictions using the proposed approach for 98% of the test cases are under 1.0 mm, which is the typical resolution of high-quality interventional ultrasound. Each of the prediction processes takes less than 0.5 s. With the resulting prediction accuracy and computational efficiency, the proposed approach demonstrates its potential to be clinically relevant.

研究动机与目标

• 解决术前三维重建与术中影像之间软组织形变不匹配的问题，以提升图像引导手术的精度。
• 在术中金标准标记点稀疏且组织发生大范围非线性应变的情况下，实现实时、高精度的形变预测。
• 通过用快速学习模型替代术中重复进行的有限元法（FEM）模拟，克服其计算不可行性。
• 开发一种临床可行的、个体化患者专用的框架，确保在多种形变场景下保持高精度。
• 证明利用FEM生成的基准数据训练的人工神经网络，可实现实时软组织重建的可行性。

提出的方法

• 该方法使用术前患者特异性的头颈部肿瘤三维模型，并选择网格节点作为金标准标记点（FMs）。
• 生成大规模非线性FEM模拟数据集，记录在不同载荷条件下选定FMs的位移。
• 对位移场应用主成分分析（PCA），提取形变模式的低维表示（主成分）。
• 训练人工神经网络（ANN），学习从稀疏FMs数据到完整形变场的映射关系，输入为PCA系数与对应FMs位移。
• 在术中，仅需将实时获取的FMs位置输入已训练的ANN，即可实时预测完整的软组织形变构型。
• 该方法结合基于物理的FEM模拟用于数据生成，以及机器学习用于快速推理，从而实现实时性能。

实验结果

研究问题

• RQ1 基于稀疏金标准标记点数据，数据驱动的ANN模型能否实现实时、亚毫米级精度的软组织形变预测？
• RQ2 与传统岭回归相比，所提出的基于ANN的方法在精度和速度方面表现如何？
• RQ3 训练好的ANN在不同力场策略下生成的未见形变场景中，其泛化能力如何？
• RQ4 在精度与推理速度之间取得平衡的前提下，ANN的最佳网络结构应为何种隐藏层大小与主成分数量？
• RQ5 在头颈部手术中典型的复杂大应变形变场景下，该方法能否保持高精度与低延迟？

主要发现

• 在98%的测试病例中，预测形变构型与基准形变构型之间的最大表面偏移低于1.0 mm，达到高质量术中超声的分辨率水平。
• 所有测试病例的平均预测时间低于0.5秒，展现出优异的实时性能。
• 所提出的ANN方法在精度与速度上均优于岭回归方法，平均偏移与最大偏移显著更低。
• 最优的ANN结构为[128, 64]隐藏层，实现了重建精度与训练时间之间的最佳平衡。
• 该模型在使用不同力场策略生成的未见形变场景中表现出良好的泛化能力，证实了其鲁棒性与泛化性能。
• 即使在复杂的大形变病例中（最大位移达30 mm），该方法仍保持高精度（相对于肿瘤最大尺寸的误差为1.5%）。