[论文解读] Oral-3D: Reconstructing the 3D Bone Structure of Oral Cavity from 2D Panoramic X-ray

Weinan Song, Yuan Liang+3 more|arXiv (Cornell University)|Mar 18, 2020

Dental Radiography and Imaging参考文献 27被引用 7

一句话总结

Oral-3D 提出了一种两阶段深度学习框架，利用牙弓先验知识，从单张2D全景牙科X光片（PX）重建高分辨率口腔腔骨结构。该方法首先通过生成模型生成3D体素，然后将其形变为弯曲的下颌骨表面，实现了在形状和密度重建方面的最先进性能，在合成数据上的PSNR为19.22，Dice分数为71.28。

ABSTRACT

Panoramic X-ray (PX) provides a 2D picture of the patient's mouth in a panoramic view to help dentists observe the invisible disease inside the gum. However, it provides limited 2D information compared with cone-beam computed tomography (CBCT), another dental imaging method that generates a 3D picture of the oral cavity but with more radiation dose and a higher price. Consequently, it is of great interest to reconstruct the 3D structure from a 2D X-ray image, which can greatly explore the application of X-ray imaging in dental surgeries. In this paper, we propose a framework, named Oral-3D, to reconstruct the 3D oral cavity from a single PX image and prior information of the dental arch. Specifically, we first train a generative model to learn the cross-dimension transformation from 2D to 3D. Then we restore the shape of the oral cavity with a deformation module with the dental arch curve, which can be obtained simply by taking a photo of the patient's mouth. To be noted, Oral-3D can restore both the density of bony tissues and the curved mandible surface. Experimental results show that Oral-3D can efficiently and effectively reconstruct the 3D oral structure and show critical information in clinical applications, e.g., tooth pulling and dental implants. To the best of our knowledge, we are the first to explore this domain transformation problem between these two imaging methods.

研究动机与目标

• 为解决与锥形束CT（CBCT）相比辐射剂量更低、成本更低的3D牙科影像临床需求。
• 从单张2D全景牙科X光片重建详细的3D骨结构，包括形状和密度信息。
• 通过利用牙弓曲线作为先验知识，克服单视角3D重建的固有模糊性。
• 开发一种仅使用标准PX图像和简单口内照片即可实现临床实用部署的框架。

提出的方法

• 训练一个生成模型，学习从2D PX到3D体素的跨维度转换，同时保留密度信息。
• 模型使用对抗性损失（DL）、重建损失（RL）和投影损失（PL）来优化生成质量。
• 通过形变模块利用牙弓曲线作为几何先验，将平坦的3D输出映射到曲面。
• 通过简单的基于图像的方法（如β函数拟合）提取牙弓，以指导形状恢复。
• 利用CBCT扫描自动生成成对的2D-3D合成数据，用于模型训练与评估。
• 在真实世界评估中，使用cycleGAN对齐训练集与测试集PX图像之间的色彩分布。

实验结果

研究问题

• RQ1 深度学习模型能否在无先前3D扫描的情况下，从单张2D全景牙科X光片重建出准确的3D骨结构？
• RQ2 将牙弓先验知识整合到3D形状重建中，其有效性如何？
• RQ3 该模型在重建过程中能在多大程度上保持表面形态和类似Hounsfield单位的密度信息？
• RQ4 与端到端的单视角重建方法相比，所提出的两阶段框架在形状和密度准确性方面表现如何？
• RQ5 该模型能否在图像外观存在领域偏移的真实临床PX图像上实现良好泛化？

主要发现

• 在使用全部三种损失（DL+RL+PL）的合成数据上，Oral-3D的PSNR为19.22，SSIM为78.27，Dice分数为71.28。
• 消融实验表明，重建损失（RL）对性能提升贡献最大，其次为对抗性损失（DL），而投影损失（PL）带来的增益最小。
• 在真实世界数据上，尽管存在图像领域偏移，模型仍保持较高的临床实用性，PSNR为17.36，SSIM为69.30，Dice为71.44。
• 模型成功识别出智齿和缺失牙齿，展示了其在种植规划和牙齿拔除中的临床相关性。
• 形变模块通过将生成的3D体素与下颌骨解剖曲率对齐，显著提升了形状准确性。
• 该方法即使在真实世界PX图像中密度细节减少的情况下，也能实现对单个牙齿和骨性结构的准确可视化。