[论文解读] PhysGNN: A Physics-Driven Graph Neural Network Based Model for Predicting Soft Tissue Deformation in Image-Guided Neurosurgery

Yasmin Salehi, Dennis D. Giannacopoulos|arXiv (Cornell University)|Sep 9, 2021

Medical Imaging and Analysis被引用 15

一句话总结

本文提出PhysGNN，一种基于物理的图神经网络，利用有限元网格结构实现神经外科手术中软组织形变的高精度、高速预测。通过将组织建模为具有节点连通性和距离关系的图，PhysGNN优于现有数据驱动方法，在真实脑移位数据上实现测试均方根误差为0.2058 mm，证明其在术中应用中具有强大的计算可行性。

ABSTRACT

Correctly capturing intraoperative brain shift in image-guided neurosurgical procedures is a critical task for aligning preoperative data with intraoperative geometry for ensuring accurate surgical navigation. While the finite element method (FEM) is a proven technique to effectively approximate soft tissue deformation through biomechanical formulations, their degree of success boils down to a trade-off between accuracy and speed. To circumvent this problem, the most recent works in this domain have proposed leveraging data-driven models obtained by training various machine learning algorithms -- e.g., random forests, artificial neural networks (ANNs) -- with the results of finite element analysis (FEA) to speed up tissue deformation approximations by prediction. These methods, however, do not account for the structure of the finite element (FE) mesh during training that provides information on node connectivities as well as the distance between them, which can aid with approximating tissue deformation based on the proximity of force load points with the rest of the mesh nodes. Therefore, this work proposes a novel framework, PhysGNN, a data-driven model that approximates the solution of the FEM by leveraging graph neural networks (GNNs), which are capable of accounting for the mesh structural information and inductive learning over unstructured grids and complex topological structures. Empirically, we demonstrate that the proposed architecture, PhysGNN, promises accurate and fast soft tissue deformation approximations, and is competitive with the state-of-the-art (SOTA) algorithms while promising enhanced computational feasibility, therefore suitable for neurosurgical settings.

研究动机与目标

• 解决基于有限元法（FEM）的神经外科软组织形变预测中精度与速度之间的权衡问题。
• 通过整合非结构化有限元（FE）网格中的结构信息（如节点连通性和空间邻近性），改进数据驱动模型。
• 开发一种计算高效、可泛化的框架，适用于影像引导神经外科术中的实时应用。
• 证明图神经网络能够有效从FEA仿真中学习生物力学组织形变模式，同时保持拓扑与几何关系。

提出的方法

• PhysGNN采用混合架构，结合GraphConv与GraphSAGE层，将FE网格数据作为图进行处理，其中节点代表网格顶点，边代表连接关系。
• 边特征通过节点间距离的倒数定义，用于加权消息传递，增强模型捕捉局部力传播的能力。
• 模型在FEA仿真得到的位移场数据上进行端到端训练，优化目标为均方根误差损失。
• 系统评估最大值与加法聚合函数，以优化消息传递与节点表征学习。
• 框架在两个具有不同力施加模式的数据集上进行训练，以评估在不同外科场景下的泛化能力。
• 超参数调优包括网络深度、聚合函数组合以及混合层配置，以平衡性能与过平滑问题。

实验结果

研究问题

• RQ1 图神经网络能否通过利用有限元网格的拓扑结构，有效建模软组织形变？
• RQ2 在边权重中引入节点距离对形变建模的预测精度有何影响？
• RQ3 PhysGNN是否在保持卓越计算效率的同时，实现与最先进数据驱动模型相当的性能？
• RQ4 PhysGNN在不同力施加模式（如单节点加载与多节点加载）下是否表现出强鲁棒性？

主要发现

• 在Dataset 2上，PhysGNN实现测试均方根误差为0.2058 mm，证明其在预测开颅术导致脑移位方面具有高精度。
• 在Dataset 2上，采用三层GraphConv与三层GraphSAGE层并使用加法聚合的模型表现最佳，表明其在多力加载场景下具有更强的处理能力。
• 当图卷积层数超过三层后，若将GraphSAGE替换为GraphConv层，会导致过平滑现象，凸显了网络深度平衡的重要性。
• 在边权重中使用节点距离倒数显著提升了多力数据集上的性能，证实空间邻近性在形变建模中的关键作用。
• PhysGNN在不同数据集间表现出强鲁棒性，其在Dataset 1上的验证误差（0.2114 mm）仅略高于最佳配置。
• 不同聚合函数组合下模型性能稳定，其中加法聚合在多力场景中优于最大值聚合。