[论文解读] SHARP 2020: The 1st Shape Recovery from Partial Textured 3D Scans Challenge Results

Alexandre Saint, Anis Kacem+8 more|arXiv (Cornell University)|Oct 26, 2020

3D Shape Modeling and Analysis参考文献 20被引用 5

一句话总结

本论文提出了 SHARP 2020，这是首个针对从部分、不完整 3D 扫描中恢复 3D 形状与纹理的基准。它引入了两个新型数据集——用于人体扫描的 3DBodyTex.v2 和用于通用物体的 3DObjectTex，以及一个自定义的评估框架，可联合衡量形状、纹理和完成质量。表现最佳的方法 RVH-IF 在人体扫描上取得了 83% 的得分，在物体扫描上取得了 75% 的得分，展示了该任务的严谨性以及隐式特征网络在纹理感知 3D 完成方面的潜力。

ABSTRACT

The SHApe Recovery from Partial textured 3D scans challenge, SHARP 2020, is the first edition of a challenge fostering and benchmarking methods for recovering complete textured 3D scans from raw incomplete data. SHARP 2020 is organised as a workshop in conjunction with ECCV 2020. There are two complementary challenges, the first one on 3D human scans, and the second one on generic objects. Challenge 1 is further split into two tracks, focusing, first, on large body and clothing regions, and, second, on fine body details. A novel evaluation metric is proposed to quantify jointly the shape reconstruction, the texture reconstruction and the amount of completed data. Additionally, two unique datasets of 3D scans are proposed, to provide raw ground-truth data for the benchmarks. The datasets are released to the scientific community. Moreover, an accompanying custom library of software routines is also released to the scientific community. It allows for processing 3D scans, generating partial data and performing the evaluation. Results of the competition, analysed in comparison to baselines, show the validity of the proposed evaluation metrics, and highlight the challenging aspects of the task and of the datasets. Details on the SHARP 2020 challenge can be found at https://cvi2.uni.lu/sharp2020/.

研究动机与目标

• 建立一个标准化基准，用于从不完整 3D 扫描中完成 3D 形状与纹理恢复。
• 解决在部分 3D 扫描恢复中缺乏全面数据集与评估协议的问题，尤其关注纹理信息。
• 通过提供真实数据、合成部分扫描以及可重用的评估库，推动 3D 重建研究。
• 使用一种新颖的统一评估指标，量化形状、纹理与完成率的联合性能。
• 突出在从存在遮挡和非均匀材质的部分数据中重建复杂形状与纹理所面临的挑战。

提出的方法

• 该挑战使用两个独特数据集：3DBodyTex.v2（3,000 个高分辨率人体扫描）和 3DObjectTex（1,200 个通用物体扫描），两者均以带有任意 UV 映射的纹理三角网格形式编码。
• 通过从完整扫描中随机移除区域，合成生成部分扫描，同时保留真实标签以供评估。
• 提出一种新颖的评估指标，将形状重建、纹理重建与完成率整合为单一得分。
• 发布一个自定义软件库，支持 3D 扫描处理、部分数据生成以及使用所提指标对提交结果进行评估。
• 评估框架支持人体扫描与物体扫描两项挑战，其中挑战 1 包含针对身体部位与细节的独立赛道。
• 表现最佳的方法 RVH-IF 采用隐式特征网络对 3D 数据进行纹理完成，利用学习到的表征预测缺失的几何与外观。

实验结果

研究问题

• RQ1 当前最先进方法在从部分、不完整 3D 扫描中恢复完整 3D 形状与纹理方面表现如何？
• RQ2 与仅依赖形状的方法相比，引入纹理信息在多大程度上提升了 3D 重建的质量与真实感？
• RQ3 服装、姿态与物体复杂度的变化在多大程度上影响了 3D 形状与纹理完成的难度？
• RQ4 统一评估指标能否有效捕捉形状精度、纹理保真度与完成率之间的权衡？
• RQ5 3D 完成中最具挑战性的方面是什么，例如细节、非凸形状或反光材质，它们如何影响性能？

主要发现

• RVH-IF 方法在挑战 1 第二赛道（精细身体细节）中取得最高分 83%，显著优于基线方法（41.1%）和 SnT-3DB（60.7%）。
• 在挑战 2（通用物体）中，RVH-IF-2 取得 75% 的得分，较基线高出超过 30 个百分点，表明其在多样化物体类别上具有强大的泛化能力。
• 纹理重建通常比形状重建更容易，尤其是在具有均匀图案的衣物上；而具有孔洞、褶皱或锐边的复杂形状则更难恢复。
• 挑战 2 中形状与纹理得分的相关性低于挑战 1，表明在通用物体上，形状与纹理完成的相关性较低。
• 结果表明，光滑、闭合的表面网格比非凸或不规则形状更易准确重建，凸显几何复杂性是关键挑战。
• 评估指标成功捕捉了性能差异，并验证了该基准在区分不同方法方面的能力，确认其适用于未来挑战。