[论文解读] Towards Accurate Alignment in Real-time 3D Hand-Mesh Reconstruction

Xiao Tang, Tianyu Wang+1 more|arXiv (Cornell University)|Sep 3, 2021

Human Pose and Action Recognition参考文献 59被引用 5

一句话总结

该论文提出了一种三阶段流水线，用于从RGB图像实现实时3D手部网格重建，通过可学习的顶点偏移实现关节预测、粗略网格生成和精细化图像空间对齐的解耦。通过集成可微渲染和轻量级图卷积网络（Graph-CNN）进行偏移回归，该方法在保持消费级硬件实时推理的同时，在手部网格精度和手指级网格-图像对齐方面达到了最先进水平。

ABSTRACT

3D hand-mesh reconstruction from RGB images facilitates many applications, including augmented reality (AR). However, this requires not only real-time speed and accurate hand pose and shape but also plausible mesh-image alignment. While existing works already achieve promising results, meeting all three requirements is very challenging. This paper presents a novel pipeline by decoupling the hand-mesh reconstruction task into three stages: a joint stage to predict hand joints and segmentation; a mesh stage to predict a rough hand mesh; and a refine stage to fine-tune it with an offset mesh for mesh-image alignment. With careful design in the network structure and in the loss functions, we can promote high-quality finger-level mesh-image alignment and drive the models together to deliver real-time predictions. Extensive quantitative and qualitative results on benchmark datasets demonstrate that the quality of our results outperforms the state-of-the-art methods on hand-mesh/pose precision and hand-image alignment. In the end, we also showcase several real-time AR scenarios.

研究动机与目标

• 为解决在AR应用中实现实时3D手部网格重建并同时保持高精度姿态、形状和图像空间对齐的挑战。
• 克服现有方法在速度与图像对齐之间权衡或因迭代优化导致无法实现实时性能的局限性。
• 通过提升手指级网格-图像对齐，实现逼真的手-物体遮挡和自然的AR交互。
• 设计一种轻量化、解耦的架构，实现实时推理而不牺牲对齐质量。

提出的方法

• 该方法将3D手部网格重建解耦为三个阶段：关节预测（2D/3D关节和分割）、粗略网格生成，以及通过顶点偏移回归实现的精细化对齐。
• 局部特征投影单元和全局特征广播单元为每个网格顶点提取多尺度特征，以指导精修阶段的偏移预测。
• 一个小型图卷积网络（Graph-CNN）基于组合的局部与全局特征回归每个顶点的偏移向量，实现高效且精确的网格精修。
• 使用可微渲染损失（$\mathcal{L}_{\textrm{render}}$）监督重建网格与输入图像之间的手指级对齐。
• 损失函数包含分割损失（$\mathcal{L}_{\textrm{sil}}$）、网格重建损失以及可微渲染损失，联合优化对齐与几何结构。
• 整个流水线以端到端方式训练，并在消费级GPU上实现实时推理部署。

Figure 1: Comparing 3D hand meshes (top row) reconstructed by I2L-MeshNet [ 32 ] (ECCV 2020) and by our method. Taking these meshes to support AR interaction (bottom row), our predicted hand mesh delivers better finger-level alignment and more natural hand occlusion with the virtual ping pong racket

实验结果

研究问题

• RQ1 解耦的、非迭代的流水线是否能够在3D手部网格重建中同时实现实时推理和高保真网格-图像对齐？
• RQ2 通过图卷积网络（Graph-CNN）进行基于偏移的精修，在不使用迭代优化的情况下，对提升手指级对齐效果有多显著？
• RQ3 与标准网格重建损失相比，可微渲染在提升图像空间对齐方面有多大的改进作用？
• RQ4 在精修阶段，局部与全局特征聚合对准确预测顶点偏移的贡献有多大？

主要发现

• 所提方法在FreiHand基准测试中实现了92.95%的3D手部网格精度，优于现有最先进方法。
• 该方法将网格-图像对齐误差降低至4.70 mm，显著优于先前工作中的手指级对齐效果。
• 消融实验表明，若移除精修阶段或偏移回归机制，对齐误差将上升至5.93 mm，表明其关键作用。
• 同时包含局部与全局特征单元的完整流水线在网格IoU上达到0.868，优于缺少任一组件的变体。
• 该方法在单张消费级GPU上以30 FPS运行，支持实际AR应用。
• 可视化结果表明，实现了逼真的手-物体遮挡效果，并能与虚拟物体（如戒指、水和对讲机）实现自然交互。

Figure 2: Our proposed framework. From the input image with the user’s hand, the joint stage first extracts feature map $F_{\mathcal{I}}$ and sends it to two decoders, one for hand segmentation and the other for generating joint feature $F_{j}$ and predicting the hand-joint locations $J$ . Subsequen