[论文解读] SIA-GCN: A Spatial Information Aware Graph Neural Network with 2D Convolutions for Hand Pose Estimation

Deying Kong, Haoyu Ma+1 more|arXiv (Cornell University)|Sep 25, 2020

Hand Gesture Recognition Systems被引用 11

一句话总结

该论文提出SIA-GCN，一种新型图神经网络，通过在每个节点处理2D置信度图并使用针对边的2D卷积传播空间信息，实现对手部关键点估计中空间关系的改进建模。该方法通过保持空间结构并学习不同关节之间的独特关系，在Panoptic和MHP手部姿态估计数据集上实现了最先进性能。

ABSTRACT

Graph Neural Networks (GNNs) generalize neural networks from applications on regular structures to applications on arbitrary graphs, and have shown success in many application domains such as computer vision, social networks and chemistry. In this paper, we extend GNNs along two directions: a) allowing features at each node to be represented by 2D spatial confidence maps instead of 1D vectors; and b) proposing an efficient operation to integrate information from neighboring nodes through 2D convolutions with different learnable kernels at each edge. The proposed SIA-GCN can efficiently extract spatial information from 2D maps at each node and propagate them through graph convolution. By associating each edge with a designated convolution kernel, the SIA-GCN could capture different spatial relationships for different pairs of neighboring nodes. We demonstrate the utility of SIA-GCN on the task of estimating hand keypoints from single-frame images, where the nodes represent the 2D coordinate heatmaps of keypoints and the edges denote the kinetic relationships between keypoints. Experiments on multiple datasets show that SIA-GCN provides a flexible and yet powerful framework to account for structural constraints between keypoints, and can achieve state-of-the-art performance on the task of hand pose estimation.

研究动机与目标

• 解决标准GNN在手部关键点估计中处理2D空间特征（如置信度图）时的局限性。
• 通过实现针对边的空间特征传播，改进手部关键点之间结构关系的建模。
• 开发一种灵活的框架，将2D卷积集成到图网络中，以更好地利用空间信息。
• 通过可学习的空间感知图架构，在2D手部姿态估计基准上实现最先进性能。

提出的方法

• 图中的每个节点代表一个手部关键点的2D置信度图，以保持空间结构，而非将其展平为1D向量。
• 图卷积操作通过沿每条边应用2D卷积实现，在消息传递过程中保持空间上下文。
• 为每条边分配不同的可学习2D卷积核，使模型能够捕捉不同关键点对之间的独特空间关系。
• 将该架构与2D姿态估计算法（例如CPM）集成，利用结构约束来优化预测结果。
• 使用多头指针网络关注多种关键点配置，提升对遮挡的鲁棒性。
• 在单帧RGB图像上端到端训练模型，损失函数通过标准关键点回归和PCK评估进行优化。

实验结果

研究问题

• RQ1 图神经网络能否在手部关键点估计中有效处理2D空间特征（如置信度图），而非仅处理1D节点向量？
• RQ2 针对边的2D卷积能否改善手部关键点之间多样化空间关系的建模？
• RQ3 所提出的SIA-GCN框架是否在2D手部关键点估计上优于现有的基于GNN或图模型的方法？
• RQ4 该模型在未见领域和遮挡等挑战性条件下的泛化能力如何？

主要发现

• 在Panoptic手部数据集中，SIA-GCN实现了71.65的mPCK分数，优于先前方法如R-MGMN（69.93）和AGMN（70.34）。
• 在更大且更具挑战性的MHP数据集中，SIA-GCN实现了85.56的mPCK分数，与最先进基线模型相当或略高。
• 该模型展现出强大的域泛化能力，在MPII+NZSL数据集上，PCK@0.08相比基线CPM提升了4.81分，相比SHG提升了4.11分。
• 定性结果表明结构一致性得到改善，即使在部分遮挡情况下也能正确预测关键点。
• 当从1头扩展到10头时，模型复杂度仅增加30–40%，表明尽管容量增强，但参数化效率依然较高。
• 失败案例主要源于严重遮挡或缩短视图，表明在极端条件下存在鲁棒性限制。