[论文解读] One-stage Shape Instantiation from a Single 2D Image to 3D Point Cloud

Xiao-Yun Zhou, Zhaoyang Wang+3 more|arXiv (Cornell University)|Jul 24, 2019

Medical Image Segmentation Techniques参考文献 12被引用 4

一句话总结

该论文提出了一种单阶段深度学习框架，通过PointOutNet与Chamfer距离损失，直接从单张2D MRI图像预测3D点云，在27例右心室受试者上实现了1.72mm的平均点云到点云误差，与先前的两阶段PLSR和KPLSR方法相当，但具备完全自动化和端到端推理能力。

ABSTRACT

Shape instantiation which predicts the 3D shape of a dynamic target from one or more 2D images is important for real-time intra-operative navigation. Previously, a general shape instantiation framework was proposed with manual image segmentation to generate a 2D Statistical Shape Model (SSM) and with Kernel Partial Least Square Regression (KPLSR) to learn the relationship between the 2D and 3D SSM for 3D shape prediction. In this paper, the two-stage shape instantiation is improved to be one-stage. PointOutNet with 19 convolutional layers and three fully-connected layers is used as the network structure and Chamfer distance is used as the loss function to predict the 3D target point cloud from a single 2D image. With the proposed one-stage shape instantiation algorithm, a spontaneous image-to-point cloud training and inference can be achieved. A dataset from 27 Right Ventricle (RV) subjects, indicating 609 experiments, were used to validate the proposed one-stage shape instantiation algorithm. An average point cloud-to-point cloud (PC-to-PC) error of 1.72mm has been achieved, which is comparable to the PLSR-based (1.42mm) and KPLSR-based (1.31mm) two-stage shape instantiation algorithm.

研究动机与目标

• 消除在实时术中导航中进行3D形状生成时对手动分割和两阶段学习的需求。
• 开发一种端到端的深度学习流程，将单张2D图像直接映射为3D点云，无需中间统计模型。
• 与依赖PLSR或KPLSR的现有两阶段方法相比，提升自动化程度和推理速度。
• 在包含27例右心室受试者的临床数据集上进行验证，共609次实验，证明其精度与最先进方法相当。

提出的方法

• 使用PointOutNet（19个卷积层和3个全连接层网络）直接从单张2D图像回归生成3D点云。
• 采用Chamfer距离作为损失函数以优化点云预测，该损失函数衡量预测点与真实点之间最近邻距离的平均值。
• 使用包含27例右心室受试者共609个时间帧实验的数据集进行端到端训练，每个时间帧均配有同步的2D MRI和3D网格数据。
• 采用留一法交叉验证评估泛化能力，由于使用Chamfer损失，无需顶点对应关系。
• 采用基于3D SSM的网格表示作为真实标签，确保时间帧之间顶点数量和连通性的一致性。
• 依赖预处理数据集，其中3D网格通过统计形状模型框架进行对齐和参数化。

实验结果

研究问题

• RQ1 单阶段深度学习模型是否能在无需手动分割的情况下，实现与PLSR和KPLSR等两阶段方法相当的3D形状预测精度？
• RQ2 与基于顶点的L1/L2损失相比，Chamfer距离损失如何影响3D点云预测的质量和稳定性？
• RQ3 该模型在不同心脏相位（尤其是收缩末期和舒张末期帧）下的泛化能力如何？
• RQ4 所提出的方法是否能够实现完全自动化的端到端推理，适用于微创手术中的实时术中导航？
• RQ5 当前方法的主要局限性是什么，特别是关于边界效应和损失函数约束方面？

主要发现

• 所提出的单阶段方法在27例受试者上实现了1.72mm的平均点云到点云误差，与两阶段KPLSR方法（1.31mm）和PLSR方法（1.42mm）相当。
• 模型在所有心脏相位均表现出稳定性能，误差通常在1–3mm之间，但在收缩末期和舒张末期因边界效应导致误差略高。
• 使用Chamfer距离损失可实现稳定训练和收敛，而基于顶点的L1/L2损失则导致收敛性差且预测不稳定。
• 该方法消除了对手动分割和超参数调优（如KPLSR中的核宽）的需求，实现了完全自动化，适合临床部署。
• 边界时间帧（如收缩末期和舒张末期）的误差较高，原因是缺乏足够的训练数据覆盖，但预计在实际应用中完整数据包含后该问题将得到解决。
• 预测结果中缺乏顶点对应关系，因此需要额外的3D重建步骤以生成网格，这是当前与基于对应关系的方法相比的局限性。