[论文解读] ViPLO: Vision Transformer based Pose-Conditioned Self-Loop Graph for Human-Object Interaction Detection

Jeeseung Park, Jinwoo Park+1 more|arXiv (Cornell University)|Apr 17, 2023

Multimodal Machine Learning Applications被引用 4

一句话总结

ViPLO 提出了一种基于视觉Transformer的两阶段人-物体交互（HOI）检测器，通过一种新颖的重叠区域掩码（MOA）模块实现无量化特征提取，并结合姿态条件自循环图进行联合感知的交互分类，从而提升性能。该方法在 HICO-DET 上实现了新的 SOTA 结果，mAP 提升了 +2.07，同时保持了高效性。

ABSTRACT

Human-Object Interaction (HOI) detection, which localizes and infers relationships between human and objects, plays an important role in scene understanding. Although two-stage HOI detectors have advantages of high efficiency in training and inference, they suffer from lower performance than one-stage methods due to the old backbone networks and the lack of considerations for the HOI perception process of humans in the interaction classifiers. In this paper, we propose Vision Transformer based Pose-Conditioned Self-Loop Graph (ViPLO) to resolve these problems. First, we propose a novel feature extraction method suitable for the Vision Transformer backbone, called masking with overlapped area (MOA) module. The MOA module utilizes the overlapped area between each patch and the given region in the attention function, which addresses the quantization problem when using the Vision Transformer backbone. In addition, we design a graph with a pose-conditioned self-loop structure, which updates the human node encoding with local features of human joints. This allows the classifier to focus on specific human joints to effectively identify the type of interaction, which is motivated by the human perception process for HOI. As a result, ViPLO achieves the state-of-the-art results on two public benchmarks, especially obtaining a +2.07 mAP performance gain on the HICO-DET dataset. The source codes are available at https://github.com/Jeeseung-Park/ViPLO.

研究动机与目标

• 提升两阶段HOI检测器的性能，尽管其在效率方面具有优势，但此前已被单阶段方法超越。
• 解决在HOI检测中使用视觉Transformer（ViT）进行基于区域的特征提取时的量化问题。
• 通过将姿态感知、关节聚焦的推理机制融入交互预测过程，模拟人类对HOI的感知方式。
• 在充分利用ViT主干网络表示能力的同时，保持高推理速度和内存效率。

提出的方法

• 提出掩码重叠区域（MOA）模块，通过利用ViT感受野与物体区域之间的重叠区域计算注意力，避免空间量化问题。
• 采用ViT作为主干网络并结合MOA模块，实现无需依赖量化patch索引的ROIAlign的高保真特征提取，用于人和物体区域。
• 设计一种姿态条件自循环图，通过查询-键结构利用局部关节特征更新人节点嵌入，模拟人类对特定关节的视觉注意力。
• 通过空间关系和人体姿态特征编码交互边，实现在图中具有交互感知能力的消息传递。
• 采用基于查询的注意力机制，关注人关节特征以优化人节点表示，从而增强交互分类性能。
• 使用CLIP预训练权重对ViT主干进行预训练，以提升特征质量与泛化能力，尤其在少样本或零样本场景下表现更优。

实验结果

研究问题

• RQ1 能否在不遭受空间量化问题影响的前提下，有效且高效地将视觉Transformer主干用于两阶段HOI检测？
• RQ2 如何将人体姿态信息整合到交互预测过程中以提升分类准确率？
• RQ3 将交互识别过程建模为三步人类感知流程（定位 → 交互性 → 关节聚焦）是否能带来更好的性能？
• RQ4 图网络中的自循环结构是否能通过聚焦局部人体关节特征来提升性能？
• RQ5 与ImageNet或COCO预训练相比，使用CLIP预训练的ViT权重是否能提升HOI检测性能？

主要发现

• ViPLO 在 HICO-DET 数据集 Full 设置下实现了 36.97 的新 SOTA mAP，显著优于先前方法。
• 与之前 SOTA 方法相比，ViPLO 在 HICO-DET 上实现了 +2.07 mAP 的性能提升，验证了所提组件的有效性。
• MOA 模块有效缓解了量化带来的性能下降，在基线 ViT + ROI 方法基础上提升了 1.08 mAP。
• 姿态条件自循环图相比无自循环的基线模型，带来了 0.44 mAP 的性能增益，验证了其在聚焦关键关节方面的有效性。
• ViPLO 保持了与 ResNet-50 基模型相当的推理速度和 GPU 显存占用，且显存消耗低于使用 ResNet-50 的 SCG 模型。
• 使用 CLIP 预训练的 ViT 权重相比 COCO 预训练的 ResNet 模型，即使采用相同的预训练策略，也表现出更优性能，证明了 CLIP 初始化的优势。