[论文解读] PetroSurf3D - A Dataset for high-resolution 3D Surface Segmentation

Georg Poier, Markus Seidl+6 more|arXiv (Cornell University)|Oct 6, 2016

3D Surveying and Cultural Heritage参考文献 29被引用 5

一句话总结

PetroSurf3D 引入了一个公开可用的、高分辨率的岩画三维表面数据集，包含精确的专家标注真实标签，适用于三维表面分割。该数据集包含详细的网格模型、点云、深度图和正射影像，可用于基准测试三维分割方法；实验表明，卷积神经网络（CNN）在整体准确率上优于随机森林，但会遗漏细微细节，凸显了该数据集对未来研究的挑战性。

ABSTRACT

The development of powerful 3D scanning hardware and reconstruction algorithms has strongly promoted the generation of 3D surface reconstructions in different domains. An area of special interest for such 3D reconstructions is the cultural heritage domain, where surface reconstructions are generated to digitally preserve historical artifacts. While reconstruction quality nowadays is sufficient in many cases, the robust analysis (e.g. segmentation, matching, and classification) of reconstructed 3D data is still an open topic. In this paper, we target the automatic and interactive segmentation of high-resolution 3D surface reconstructions from the archaeological domain. To foster research in this field, we introduce a fully annotated and publicly available large-scale 3D surface dataset including high-resolution meshes, depth maps and point clouds as a novel benchmark dataset to the community. We provide baseline results for our existing random forest-based approach and for the first time investigate segmentation with convolutional neural networks (CNNs) on the data. Results show that both approaches have complementary strengths and weaknesses and that the provided dataset represents a challenge for future research.

研究动机与目标

• 解决文化遗产领域中缺乏公开可用、高分辨率且带有精确标注的三维表面分割数据集的问题。
• 通过标准化的基准数据集，实现三维表面分割算法的客观比较。
• 评估三维几何信息与二维纹理在分割复杂、异质性表面（如岩画）方面的相对有效性。
• 在相同数据集上提供可复现的基线结果，分别采用随机森林和卷积神经网络（CNN）进行测试。
• 通过支持古代岩石雕刻的自动化分析，促进文化遗产的保护工作。

提出的方法

• 在意大利布雷达卡莫尼卡的联合国教科文组织世界遗产地，使用结构光扫描（SLS）和运动结构（SfM）技术获取岩画的高分辨率三维扫描。
• 从三维扫描中生成高保真的三维网格模型、点云、正射影像和深度图，保留了亚毫米级的几何细节。
• 为所有深度图和正射影像生成像素级真实标签，总计约2.32亿个标记像素。
• 通过减去一个标准差为12.5毫米的高斯平滑版本，对深度图进行预处理，以增强局部对比度，并提高与预训练RGB的CNN的兼容性。
• 使用深度图为输入，训练随机森林分类器和一个在RGB数据上微调过的CNN，进行像素级分割。
• 采用四折交叉验证评估模型的泛化性能，并使用标准分割指标（包括DSC、mIU、PA、HR和FAR）进行评估。

实验结果

研究问题

• RQ1 与仅使用二维纹理的方法相比，完整三维几何信息的引入在多大程度上提升了分割性能？
• RQ2 随机森林与卷积神经网络在岩画高分辨率三维表面分割任务中的相对优势与劣势是什么？
• RQ3 使用深度图在多大程度上增强了分割模型在复杂、异质性岩石表面纹理上的泛化能力？
• RQ4 能否在不进行微调的情况下，将预训练于RGB数据的CNN有效适配到三维深度数据上用于表面分割？
• RQ5 最先进方法在具有不同风化程度和粗糙度的多样化岩画表面类型上，其泛化能力如何？

主要发现

• 基于CNN的方法获得了0.667的Dice相似系数（DSC），高于随机森林的0.568，表明其整体分割性能更优。
• CNN的平均交并比（mIU）达到0.676，优于随机森林的0.569，表明其整体分割一致性更优。
• 随机森林在前景类别的F1-score（HR）上达到0.779，高于CNN的0.693，表明其对细小和纤细凿刻区域的检测能力更强。
• CNN生成的分割结果更一致但更粗糙，而随机森林则捕捉到更多细节，但伴随更多噪声和杂乱。
• 结果表明，深度信息对泛化能力至关重要，仅使用二维信息不足以应对该数据集的复杂性。
• 基线DSC为0.667，表明该数据集仍具显著挑战性，凸显其作为未来研究基准的重要价值。