[论文解读] What's in your hands? 3D Reconstruction of Generic Objects in Hands

Yufei Ye, Abhinav Gupta+1 more|arXiv (Cornell University)|Apr 14, 2022

Human Pose and Action Recognition被引用 7

一句话总结

本文提出了一种新颖的方法，仅从单张RGB图像中实现对人类手中持有的通用未知物体的3D重建，利用关节活动感知的手部姿态作为条件先验。通过使用同时基于视觉特征和以手为中心坐标条件化的隐式神经网络，该方法在多个数据集上实现了最先进性能，显著优于基线方法，并支持测试时优化，从而提升了物体和手部姿态的准确性。

ABSTRACT

Our work aims to reconstruct hand-held objects given a single RGB image. In contrast to prior works that typically assume known 3D templates and reduce the problem to 3D pose estimation, our work reconstructs generic hand-held object without knowing their 3D templates. Our key insight is that hand articulation is highly predictive of the object shape, and we propose an approach that conditionally reconstructs the object based on the articulation and the visual input. Given an image depicting a hand-held object, we first use off-the-shelf systems to estimate the underlying hand pose and then infer the object shape in a normalized hand-centric coordinate frame. We parameterized the object by signed distance which are inferred by an implicit network which leverages the information from both visual feature and articulation-aware coordinates to process a query point. We perform experiments across three datasets and show that our method consistently outperforms baselines and is able to reconstruct a diverse set of objects. We analyze the benefits and robustness of explicit articulation conditioning and also show that this allows the hand pose estimation to further improve in test-time optimization.

研究动机与目标

• 解决从单张RGB图像中重建人类手中持有的通用未见物体3D形状的挑战。
• 克服先前方法依赖已知3D模板或刚性物体先验的局限性。
• 将手部关节活动作为强有力的几何线索用于物体形状推断，而非将其视为噪声。
• 在存在遮挡和噪声手部姿态预测的情况下，提升方法的泛化能力和鲁棒性。
• 支持测试时优化，联合优化手部姿态与物体形状，以提升交互的真实感。

提出的方法

• 首先，使用现成的基于模型的手部姿态估计算法，从单张RGB图像中恢复3D手部网格和关节位置。
• 使用由神经隐式网络参数化的符号距离函数（SDF）表示物体形状。
• 将隐式网络同时基于图像的视觉特征和从手部姿态导出的关节活动感知位置编码进行条件化。
• 使用以手为中心的坐标系对输入空间进行归一化，提升泛化能力并增强对全局姿态的不变性。
• 通过真实物体形状和手部姿态监督网络在查询点上预测SDF值。
• 应用测试时优化，通过最小化基于模拟的位移和相交体积，联合优化手部姿态与物体形状。

Figure 2 : Given an image of a hand-held object, we first use an off-the-shelf system to estimate hand articulation $\theta_{A}$ and the camera pose $\pi_{w}$ . With the predicted articulated hand along with the image, the object shape is reconstructed by an implicit network. For each query point $\

实验结果

研究问题

• RQ1 手部关节活动能否作为重建手持交互中未知3D物体形状的强泛化先验？
• RQ2 与姿态参数条件化相比，关节活动感知位置编码在泛化能力和鲁棒性方面表现如何？
• RQ3 预测的物体形状是否可用于通过测试时优化提高初始手部姿态估计的准确性？
• RQ4 该方法在真实场景中面对噪声或损坏的手部姿态预测时，其鲁棒性如何？
• RQ5 基于手部关节活动的条件化是否能减少对特定手部姿态或物体模板的过拟合？

主要发现

• 所提方法在三个基准测试上均达到最先进性能，在ObMan数据集上F5得分为0.49，F10得分为0.70，显著优于基线方法。
• 关节活动感知位置编码的泛化能力优于姿态参数条件化，相比姿态参数基线方法，CD误差降低28%。
• 该方法在高噪声条件下依然保持鲁棒性：当手部姿态增加150%高斯噪声时，ObMan数据集上的F5仍达0.24，优于次佳方法20%。
• 测试时优化可降低手部姿态误差（EPE）和模拟位移，物体模拟滑移量从8.9mm降至8.7mm。
• 当提供真实手部姿态时，方法在CD误差上达到0.92，F5为0.49，表明在理想条件下该架构具有巨大潜力。
• 消融研究证实，显式地对关节活动进行条件化可提升性能，其中未使用关节活动条件化的消融模型仅取得0.37的F5和3.93的体积误差。

Figure 3 : Visualizing reconstruction from our method and two baselines [ 31 , 37 ] on ObMan dataset from the image frame and a novel view.