[论文解读] SR-Affine: High-quality 3D hand model reconstruction from UV Maps.

Ping Chen, Dong Yang+4 more|arXiv (Cornell University)|Feb 7, 2021

Hand Gesture Recognition Systems被引用 1

一句话总结

该论文提出SR-Affine，一种两阶段方法，用于在遮挡严重和姿态复杂等挑战性条件下，从单张RGB图像实现高质量的3D手部重建。首先，通过一个编码器-解码器网络（AffineNet）预测MANO手部参数，然后应用基于UV图的超分辨率网络（SRNet）对点云进行精细化处理，从而在FreiHAND和HO3D基准测试中达到最先进性能。

ABSTRACT

Under various poses and heavy occlusions,3D hand model reconstruction based on a single monocular RGB image has been a challenging problem in computer vision field for many years. In this paper, we propose a SR-Affine approach for high-quality 3D hand model reconstruction. First, we propose an encoder-decoder network architecture (AffineNet) for MANO hand reconstruction. Since MANO hand is not detailed, we further propose SRNet to up-sampling point-clouds by image super-resolution on the UV map. Many experiments demonstrate that our approach is robust and outperforms the state-of-the-art methods on standard benchmarks, including the FreiHAND and HO3D datasets.

研究动机与目标

• 解决在严重遮挡和复杂姿态条件下，从单目RGB图像准确重建3D手部的挑战。
• 在MANO手部模型有限细节的基础上进一步提升重建质量。
• 开发一种利用UV图超分辨率来增强3D手部网格几何细节的方法。
• 在标准3D手部重建基准测试中实现鲁棒且最先进水平的性能。

提出的方法

• 提出一种新型编码器-解码器网络AffineNet，用于从单张RGB图像回归MANO手部参数。
• 该方法利用UV图作为监督信号，指导高分辨率3D手部重建。
• 引入SRNet，通过在UV图上执行图像超分辨率来上采样低分辨率点云。
• 该方法结合基于MANO的几何结构与基于UV的超分辨率，以在原始MANO分辨率之外细化网格细节。
• 框架采用多阶段优化目标进行端到端训练，以提升3D手部形状与姿态的准确性。
• 在FreiHAND和HO3D等标准基准上对方法进行评估，以验证其鲁棒性与性能。

实验结果

研究问题

• RQ1 能否仅使用单张RGB图像，在严重遮挡和复杂姿态下重建出高质量的3D手部模型？
• RQ2 UV图超分辨率在多大程度上可提升3D手部网格的几何细节，使其超越MANO模型的分辨率限制？
• RQ3 将基于MANO的回归与基于UV的超分辨率相结合，是否能获得优于现有方法的重建质量？
• RQ4 所提出方法在不同手部姿态与遮挡场景下的泛化能力如何？

主要发现

• 所提出的SR-Affine方法在FreiHAND基准测试中达到最先进性能，其3D手部重建精度优于先前方法。
• 该方法在严重遮挡和复杂手部姿态下表现出强鲁棒性，保持了高重建保真度。
• UV图超分辨率的集成显著提升了网格细节，超越了基础MANO模型的分辨率限制。
• 在HO3D数据集上的实验验证了该方法在多样化手-物体交互场景下的泛化能力。
• 消融实验验证了AffineNet与SRNet组件在提升重建质量方面的有效性。
• 结果表明，3D手部网格重建指标（如顶点到真实值的平均误差）持续得到改善。