[论文解读] RealSynCol: a high-fidelity synthetic colon dataset for 3D reconstruction applications

Chiara Lena, Davide Milesi+11 more|arXiv (Cornell University)|Feb 9, 2026

Colorectal Cancer Screening and Detection被引用 0

一句话总结

RealSynCol 是一个高度真实的合成结肠数据集，用于端镜三维重建，具备地面真值深度、光流、网格和相机轨迹等，28,130帧；在 RealSynCol 上进行微调可改进度量深度估计并消除测试时尺度自适应。

ABSTRACT

Deep learning has the potential to improve colonoscopy by enabling 3D reconstruction of the colon, providing a comprehensive view of mucosal surfaces and lesions, and facilitating the identification of unexplored areas. However, the development of robust methods is limited by the scarcity of large-scale ground truth data. We propose RealSynCol, a highly realistic synthetic dataset designed to replicate the endoscopic environment. Colon geometries extracted from 10 CT scans were imported into a virtual environment that closely mimics intraoperative conditions and rendered with realistic vascular textures. The resulting dataset comprises 28\,130 frames, paired with ground truth depth maps, optical flow, 3D meshes, and camera trajectories. A benchmark study was conducted to evaluate the available synthetic colon datasets for the tasks of depth and pose estimation. Results demonstrate that the high realism and variability of RealSynCol significantly enhance generalization performance on clinical images, proving it to be a powerful tool for developing deep learning algorithms to support endoscopic diagnosis.

研究动机与目标

• 通过解决地面真值数据稀缺性，推动3D内镜重建的深度学习方法发展。
• 创建一个高保真合成结肠数据集，模仿手术内环境和纹理。
• 提供全面的地面真值标注（深度、光流、网格、轨迹），用于稳健评估。
• 基准现有的合成结肠数据集并分析从合成到实际内镜学习转移的影响因素。

提出的方法

• 从10个CT扫描中提取结肠几何形状，并在3D Slicer中半自动处理。
• 将 refined 模型导入 Blender，以生成真实照明、纹理和单目相机轨迹。
• 通过对照真实临床轨迹（来自带有电磁追踪的硅模体）来基准，捕捉真实内镜运动。
• 使用 SUN 数据库模式的纹理合成，叠加多层纹理以生成血管样纹理。
• 按帧生成地面真值数据：- 深度图、光流、相机内参、轨迹和1024×1024分辨率的3D网格。
• 在 RealSynCol 上使用标准深度和姿态指标评估零-shot 与微调后的深度模型（DAM v2）；进行消融研究并与其他合成数据集进行基准比较。

实验结果

研究问题

• RQ1 RealSynCol 是否能够弥合合成与真实内镜图像在深度和姿态估计方面的现实差距？
• RQ2 高保真纹理和光照对模型在临床内镜数据上的泛化有何影响？
• RQ3 使用 RealSynCol 适配的基础模型是否能够实现指标深度的预测而无需测试时尺度调整？
• RQ4 RealSynCol 与现有单目结肠数据集在深度和姿态任务上有何比较？

主要发现

• RealSynCol 提供来自10个结肠模型、20个序列的28,130帧，具备地面真值深度、光流、轨迹和网格。
• 在 RealSynCol 上对深度基础模型 DAM v2 进行微调可显著提升指标深度的准确性（Abs Rel、Sq Rel、RMSE、RMSE log）及增量，消除测试时的尺度校正需求。
• 零-shot DAM v2 提供合理的深度图，但需要中值缩放才能得到定量深度，凸显具备地面真值的合成数据的价值。
• 消融研究与基准分析表明 RealSynCol 的高真实感和运动变异性增强了对临床内镜图像的泛化能力。
• RealSynCol 同时作为基准资源与将视觉基础模型适配到内镜几何与外观的必要推动力。