[论文解读] S$^2$Contact: Graph-based Network for 3D Hand-Object Contact Estimation with Semi-Supervised Learning

Tze Ho Elden Tse, Zhongqun Zhang+4 more|arXiv (Cornell University)|Aug 1, 2022

Hand Gesture Recognition Systems被引用 5

一句话总结

该论文提出S$^2$Contact，一种基于图的半监督深度学习框架，用于从单目RGB图像中估计3D手-物体接触。通过利用视频帧之间的视觉和几何一致性生成高质量伪标签，并采用参数减少50%、内存消耗更低的高效图神经网络（相较于PointNet-based模型），该方法在HO-3D、HP-3D和FreiHand数据集上实现了最先进性能，即使在真实标注数据有限的情况下，也显著提升了接触覆盖率和姿态估计精度。

ABSTRACT

Despite the recent efforts in accurate 3D annotations in hand and object datasets, there still exist gaps in 3D hand and object reconstructions. Existing works leverage contact maps to refine inaccurate hand-object pose estimations and generate grasps given object models. However, they require explicit 3D supervision which is seldom available and therefore, are limited to constrained settings, e.g., where thermal cameras observe residual heat left on manipulated objects. In this paper, we propose a novel semi-supervised framework that allows us to learn contact from monocular images. Specifically, we leverage visual and geometric consistency constraints in large-scale datasets for generating pseudo-labels in semi-supervised learning and propose an efficient graph-based network to infer contact. Our semi-supervised learning framework achieves a favourable improvement over the existing supervised learning methods trained on data with `limited' annotations. Notably, our proposed model is able to achieve superior results with less than half the network parameters and memory access cost when compared with the commonly-used PointNet-based approach. We show benefits from using a contact map that rules hand-object interactions to produce more accurate reconstructions. We further demonstrate that training with pseudo-labels can extend contact map estimations to out-of-domain objects and generalise better across multiple datasets.

研究动机与目标

• 为解决在非受限真实场景中3D标注数据稀缺的问题，特别是针对手-物体接触估计任务。
• 通过接触图更真实地建模接触交互，提升3D手部与物体重建的准确性。
• 实现在无监督条件下对域外物体和未见数据集的泛化能力。
• 通过利用基于一致性约束生成的伪标签，减少对昂贵3D标注的依赖。
• 设计一种比现有PointNet-based架构更高效、更准确的接触估计网络。

提出的方法

• 提出一种半监督学习框架，利用视频序列中帧间的视觉与几何一致性生成伪标签。
• 通过连续帧之间的SSIM损失强制实现视觉一致性，确保外观稳定性。
• 利用Chamfer距离和SDF损失强制实现几何一致性，以保持3D点云的结构保真度。
• 引入接触一致性损失（$\mathcal{L}_{cont}$），确保预测接触图的时间稳定性。
• 采用基于图的神经网络处理手部与物体的点云，捕捉局部几何结构，同时保持排列不变性。
• 在训练前，基于一致性损失的置信度阈值对伪标签进行过滤。

实验结果

研究问题

• RQ1 基于一致性约束的半监督学习能否提升从单目图像中估计3D手-物体接触的性能？
• RQ2 基于图的网络能否在参数更少、内存消耗更低的前提下，优于PointNet-based模型的接触估计性能？
• RQ3 通过视觉与几何一致性生成的伪标签，能否提升模型对域外物体的泛化能力？
• RQ4 不同的一致性约束（视觉、几何、接触）对最终性能的贡献如何？
• RQ5 模型能否从少量标注数据集有效迁移至未标注、多样化的数据集？

主要发现

• 在HO-3D数据集上，S$^2$Contact实现8.74 mm的手部关节点误差，相比无半监督训练的基线模型相对提升12%。
• 与非半监督基线相比，该模型将物体网格误差降低了8.56%（ADD-0.1D指标），并使接触覆盖率提升了58%。
• 若禁用接触一致性损失（$\mathcal{L}_{cont}$），物体误差增加5.45%，且训练过程变得不稳定。
• 视觉一致性损失（$\mathcal{L}_{SSIM}$）影响最大，其移除导致物体误差增加8.04%。
• 所提出的图网络参数量仅为DGCNN的2.4倍，GPU内存使用量减少为一半，同时性能更优。
• 该模型在域外物体上泛化良好，在多个数据集上实现了强大的零样本迁移性能。