[论文解读] Revisiting spatio-temporal layouts for compositional action recognition

Gorjan Radevski, Marie‐Francine Moens+1 more|arXiv (Cornell University)|Nov 2, 2021

Human Pose and Action Recognition被引用 8

一句话总结

本文提出一种基于时空布局的多头注意力机制——即物体边界框的抽象配置——实现了鲁棒的、与外观无关的动作识别。实验表明，基于布局的模型在组合式和少样本设定下泛化能力出色，且与外观模型（如 I3D）融合后性能显著提升，即使在 Action Genome 等复杂背景、非组合式的数据集上亦是如此。

ABSTRACT

Recognizing human actions is fundamentally a spatio-temporal reasoning problem, and should be, at least to some extent, invariant to the appearance of the human and the objects involved. Motivated by this hypothesis, in this work, we take an object-centric approach to action recognition. Multiple works have studied this setting before, yet it remains unclear (i) how well a carefully crafted, spatio-temporal layout-based method can recognize human actions, and (ii) how, and when, to fuse the information from layout and appearance-based models. The main focus of this paper is compositional/few-shot action recognition, where we advocate the usage of multi-head attention (proven to be effective for spatial reasoning) over spatio-temporal layouts, i.e., configurations of object bounding boxes. We evaluate different schemes to inject video appearance information to the system, and benchmark our approach on background cluttered action recognition. On the Something-Else and Action Genome datasets, we demonstrate (i) how to extend multi-head attention for spatio-temporal layout-based action recognition, (ii) how to improve the performance of appearance-based models by fusion with layout-based models, (iii) that even on non-compositional background-cluttered video datasets, a fusion between layout- and appearance-based models improves the performance.

研究动机与目标

• 探究精心设计的基于布局的方法是否能在组合式和少样本动作识别中实现优异性能。
• 确定基于布局与基于外观的模型之间最优的融合策略，以提升动作识别性能。
• 评估基于布局的推理在背景杂乱、非组合式视频数据集中的鲁棒性。
• 评估多头注意力机制在无外观线索条件下，捕捉物体布局全局时空上下文的能力。

提出的方法

• 在时空布局上使用多头注意力机制——即视频帧中物体边界框的序列——不依赖于视觉外观信息。
• 采用基于 Transformer 的架构，建模布局中物体之间的长距离依赖关系与全局空间关系。
• 通过后期拼接的方式融合布局与外观特征，以保留两个分支各自的优点。
• 使用目标检测器（如 Faster R-CNN）提取目标检测结果，作为布局模块的输入。
• 在两个基准数据集（Something-Else 和 Action Genome）上进行训练与评估，涵盖组合式与非组合式设定。
• 以 I3D 作为外观主干网络，并将其与基于布局的 STLT 模型进行集成，以提升 mAP 性能。

实验结果

研究问题

• RQ1 在仅使用时空布局、无外观信息的条件下，多头注意力模型在组合式动作识别中的表现如何？
• RQ2 如何最优地融合基于布局与基于外观的模型，以提升动作识别性能？
• RQ3 基于布局的模型是否能泛化到新物体类别，并在少样本或组合式设定下表现良好？
• RQ4 在非组合式、背景杂乱的数据集（如 Action Genome）上，基于布局的推理是否能提升性能？

主要发现

• 在仅包含两类物体（person, object）的 Action Genome 数据集上，STLT 模型在理想设定下达到 19.9 mAP，较 I3D 提升 3.0 mAP 点。
• 在全部 38 种物体类别下，STLT 在理想设定下达到 60.6 mAP，接近使用真实场景图的 SGFB 模型性能。
• 将 STLT 与 I3D 集成后，在 Action Genome 的理想设定下，mAP 相较于 I3D 单独使用提升 28.1 点，优于 LFB 与 SGFB。
• 即使在目标检测设定下（非理想设定），当使用全部 38 个类别时，STLT 仍使 I3D 的 mAP 提升 5.0 点，展现出对检测误差的鲁棒性。
• 基于布局的模型能有效泛化到新物体类别，表现出强大的少样本与组合式泛化能力。
• 当两个分支均保持其独立能力时，布局与外观模型的融合最为有效，凸显互补建模的重要性。