[论文解读] QPIC: Query-Based Pairwise Human-Object Interaction Detection with Image-Wide Contextual Information

Masato Tamura, Hiroki Ohashi+1 more|arXiv (Cornell University)|Mar 9, 2021

Advanced Neural Network Applications参考文献 50被引用 17

一句话总结

QPIC 提出了一种基于查询的、基于 Transformer 的人-物体交互（HOI）检测方法，通过自注意力机制利用图像级上下文特征，并为每个 HOI 对分配专用查询，从而避免重叠实例中的特征污染。该方法在 HICO-DET 和 V-COCO 上分别实现了 5.37 和 5.7 的 mAP 提升，达到当前最先进性能。

ABSTRACT

We propose a simple, intuitive yet powerful method for human-object interaction (HOI) detection. HOIs are so diverse in spatial distribution in an image that existing CNN-based methods face the following three major drawbacks; they cannot leverage image-wide features due to CNN's locality, they rely on a manually defined location-of-interest for the feature aggregation, which sometimes does not cover contextually important regions, and they cannot help but mix up the features for multiple HOI instances if they are located closely. To overcome these drawbacks, we propose a transformer-based feature extractor, in which an attention mechanism and query-based detection play key roles. The attention mechanism is effective in aggregating contextually important information image-wide, while the queries, which we design in such a way that each query captures at most one human-object pair, can avoid mixing up the features from multiple instances. This transformer-based feature extractor produces so effective embeddings that the subsequent detection heads may be fairly simple and intuitive. The extensive analysis reveals that the proposed method successfully extracts contextually important features, and thus outperforms existing methods by large margins (5.37 mAP on HICO-DET, and 5.7 mAP on V-COCO). The source codes are available at $\href{https://github.com/hitachi-rd-cv/qpic}{ ext{this https URL}}$.

研究动机与目标

• 解决基于 CNN 的 HOI 检测器因感受野局部化而无法利用全局上下文的问题。
• 通过为每个交互对独立解耦特征提取，克服重叠 HOI 实例中的特征污染问题。
• 在人类/物体距离较远或边界框外上下文线索缺失的场景中，提升检测鲁棒性。
• 通过利用基于 Transformer 架构的强大上下文感知特征，设计一种简单而高效的检测头。
• 证明 Transformer 解码器在 HOI 检测中至关重要，尤其在处理全局分布交互时。

提出的方法

• 使用视觉 Transformer 编码器通过自注意力机制提取图像级特征，实现对上下文相关区域的选择性聚合。
• 设计实例特定查询，使每个查询仅关注至多一个“人-物体”对，防止多个交互之间的特征混合。
• 使用带有学习查询的 Transformer 解码器，对特征进行精炼，并生成用于人类、物体和动作预测的检测头。
• 将基于查询的检测头与点匹配机制结合，实现高效且准确的交互预测。
• 采用 ResNet-101 主干网络进行特征提取，随后通过 Transformer 编码器-解码器堆叠进行上下文特征学习。
• 端到端训练，损失函数包括交叉熵损失和边界框回归损失，分别用于人类、物体和动作分类，以及边界框回归。

实验结果

研究问题

• RQ1 基于 Transformer 的架构是否可通过图像级注意力机制，捕捉超出人-物体边界框的上下文信息，从而提升 HOI 检测性能？
• RQ2 基于查询的检测方法是否通过实例特定查询，有效防止重叠 HOI 实例中的特征污染？
• RQ3 与标准 CNN 特征提取器相比，Transformer 解码器在捕捉全局分布交互方面有多高效？
• RQ4 所提方法在标准基准上相较于现有两阶段和单阶段 HOI 检测器，性能提升程度如何？
• RQ5 当关键上下文线索位于人-物体边界框之外时，注意力机制在检测交互中的作用是什么？

主要发现

• QPIC 在 HICO-DET 上达到 29.27 mAP，在 COCO 上达到 43.5 mAP，分别比之前最先进方法提升 5.37 mAP 和 5.7 mAP。
• Transformer 解码器对性能贡献显著，相较于仅使用编码器的变体，mAP 分别提升 9.20（含编码器）和 7.86（不含编码器）。
• 同时使用编码器和解码器的模型在 HICO-DET 上实现 45.8% 的 HOI 检测性能相对提升，而物体检测仅提升 23.9%，表明对全局上下文具有更高敏感性。
• 定性分析表明，QPIC 的注意力图能选择性聚焦于相关上下文线索（如远处交互中的软管），同时忽略无关人类等干扰因素。
• QPIC 在具有挑战性的场景中表现优异，如人类/物体距离较远（中点法失效）或重叠实例中特征污染普遍存在的场景。
• 消融实验表明，图像级注意力与基于查询的检测机制的结合至关重要，移除任一组件均导致性能显著下降。