[论文解读] VSGNet: Spatial Attention Network for Detecting Human Object Interactions Using Graph Convolutions

Oytun Ulutan, Adnan Iftekhar+1 more|arXiv (Cornell University)|Mar 11, 2020

Multimodal Machine Learning Applications参考文献 31被引用 15

一句话总结

VSGNet 是一种新型的基于图的深度学习框架，用于人体-物体交互（HOI）检测，整合了视觉、空间和图卷积分支。它利用空间注意力机制，根据人体-物体的空间配置来优化视觉特征，并将交互提议得分用作边权重应用图卷积，分别在 V-COCO 和 HICO-DET 上实现了 8%（4 mAP）和 16%（3 mAP）的性能提升，达到当前最优水平。

ABSTRACT

Comprehensive visual understanding requires detection frameworks that can effectively learn and utilize object interactions while analyzing objects individually. This is the main objective in Human-Object Interaction (HOI) detection task. In particular, relative spatial reasoning and structural connections between objects are essential cues for analyzing interactions, which is addressed by the proposed Visual-Spatial-Graph Network (VSGNet) architecture. VSGNet extracts visual features from the human-object pairs, refines the features with spatial configurations of the pair, and utilizes the structural connections between the pair via graph convolutions. The performance of VSGNet is thoroughly evaluated using the Verbs in COCO (V-COCO) and HICO-DET datasets. Experimental results indicate that VSGNet outperforms state-of-the-art solutions by 8% or 4 mAP in V-COCO and 16% or 3 mAP in HICO-DET.

研究动机与目标

• 通过显式建模人体-物体对之间的空间配置和结构关系，提升人体-物体交互检测性能。
• 解决现有 HOI 方法将视觉与空间特征独立处理或简单拼接而缺乏注意力机制的问题。
• 通过注意力机制在特征层面融合空间关系，增强特征表示能力。
• 利用图卷积网络建模交互关系，其中边权重由交互提议得分生成。
• 在标准 HOI 基准数据集 V-COCO 和 HICO-DET 上实现当前最优性能。

提出的方法

• VSGNet 采用三分支架构：视觉分支、空间分支和图分支，实现联合特征学习。
• 空间分支利用人体-物体对的相对空间配置（边界框坐标）计算空间注意力权重，通过逐元素乘法对视觉特征进行优化。
• 视觉特征由预训练的 Faster R-CNN 主干网络提取，随后通过注意力机制进行空间优化。
• 从空间优化后的特征中生成交互提议得分，并将其作为图卷积网络（GCN）中的边强度，以建模结构化交互关系。
• 图分支在人体-物体交互图上应用图卷积，其中节点代表人和物体，边的权重由交互得分决定。
• 最终的预测头基于视觉分支与图分支融合后的特征，对交互动词进行分类。

实验结果

研究问题

• RQ1 能否将人体-物体对之间的空间配置有效用作注意力机制，以优化 HOI 检测中的视觉特征？
• RQ2 将空间注意力与图卷积网络结合，相较于传统特征拼接方法，在交互预测方面有何改进？
• RQ3 在 GCN 中使用交互提议得分作为边权重，能在多大程度上增强对人体-物体交互的结构建模能力？
• RQ4 所提出的 VSGNet 架构是否在标准 HOI 基准数据集（如 V-COCO 和 HICO-DET）上优于现有当前最优方法？
• RQ5 不同主干网络对 VSGNet 框架性能有何影响？

主要发现

• 在 V-COCO 数据集上，VSGNet 相较于之前的最先进方法实现了 4 mAP 的提升（达到 51.76 mAP），相对提升 8%。
• 在 HICO-DET 数据集上，VSGNet 实现了 3 mAP 的提升（达到 23.7 mAP），相对于先前最先进方法提升 16%。
• 空间注意力的使用显著提升了检测性能，尤其在交互关系细微或物体部分遮挡的情况下表现更优。
• ResNet-152 被确定为最优主干网络，在 V-COCO 和 HICO-DET 上均取得最高 mAP。
• 定性结果表明，VSGNet 在遮挡物体或交互关系模糊等复杂场景下，优于仅依赖视觉的基线模型。
• 失败案例主要源于空间线索混淆、标签歧义（如 'hold' 与 'carry' 的区分困难）或目标检测错误，表明在这些条件下仍存在鲁棒性局限。