[论文解读] PointTAD: Multi-Label Temporal Action Detection with Learnable Query Points

Jing Tan, Xiaotong Zhao+3 more|arXiv (Cornell University)|Oct 20, 2022

Human Pose and Action Recognition被引用 11

一句话总结

PointTAD 提出了一种基于稀疏查询点的多标签动作时序检测框架，通过可学习的查询点定位动作边界及动作实例内的判别性帧。通过引入具有动态卷积核的多级交互模块，仅使用 RGB 输入便在两个基准数据集上实现了最先进（SOTA）的检测 mAP 性能，显著优于先前方法。

ABSTRACT

Traditional temporal action detection (TAD) usually handles untrimmed videos with small number of action instances from a single label (e.g., ActivityNet, THUMOS). However, this setting might be unrealistic as different classes of actions often co-occur in practice. In this paper, we focus on the task of multi-label temporal action detection that aims to localize all action instances from a multi-label untrimmed video. Multi-label TAD is more challenging as it requires for fine-grained class discrimination within a single video and precise localization of the co-occurring instances. To mitigate this issue, we extend the sparse query-based detection paradigm from the traditional TAD and propose the multi-label TAD framework of PointTAD. Specifically, our PointTAD introduces a small set of learnable query points to represent the important frames of each action instance. This point-based representation provides a flexible mechanism to localize the discriminative frames at boundaries and as well the important frames inside the action. Moreover, we perform the action decoding process with the Multi-level Interactive Module to capture both point-level and instance-level action semantics. Finally, our PointTAD employs an end-to-end trainable framework simply based on RGB input for easy deployment. We evaluate our proposed method on two popular benchmarks and introduce the new metric of detection-mAP for multi-label TAD. Our model outperforms all previous methods by a large margin under the detection-mAP metric, and also achieves promising results under the segmentation-mAP metric. Code is available at https://github.com/MCG-NJU/PointTAD.

研究动机与目标

• 解决现有多标签 TAD 方法将任务视为帧级分类所带来的局限，缺乏实例级定位能力。
• 克服未剪辑视频中并发动作实例与细粒度类别区分的挑战。
• 提出一种基于稀疏查询点的检测框架，实现动作边界与语义关键帧的灵活、端到端学习。
• 设计多级交互模块，利用动态卷积核捕获点级与实例级动作语义。
• 实现高效且适用于部署的动作检测，仅使用 RGB 视频输入，无需后处理。

提出的方法

• 引入一组可学习的查询点，通过回归损失的直接监督，关注动作边界及动作段内的判别性帧。
• 使用具有动态卷积核的可变形卷积，在每个查询点周围提取局部时序线索，增强动作变化检测的时序推理能力。
• 设计多级交互模块，通过帧级与通道级的动态混合，融合点级特征与实例级表征。
• 在主干网络与解码器之间采用联合优化策略，实现无需后处理的端到端训练。
• 将回归偏移量相对于动作时长进行缩放，以提升基于点的检测中的定位精度。
• 采用带有可学习参数 β 的结果融合策略，结合稀疏检测输出与密集分割分数，以提升分割 mAP 性能。

实验结果

研究问题

• RQ1 基于稀疏查询点的检测框架能否有效定位多标签未剪辑视频中的多个并发动作实例？
• RQ2 可学习的查询点如何同时捕捉动作内部的边界帧与语义关键帧，以实现细粒度区分？
• RQ3 多级交互模块在整合点级与实例级语义信息方面，能在多大程度上提升动作表征能力？
• RQ4 仅使用 RGB 输入进行端到端训练，是否能相比依赖辅助监督或复杂架构的现有方法取得更优性能？
• RQ5 将回归偏移量相对于动作时长进行缩放，在基于点的 TAD 中对定位精度有何影响？

主要发现

• PointTAD 在 MultiTHUMOS 和 Charades 两个基准上均实现了最先进（SOTA）的检测 mAP 性能，分别达到 36.4% 和 21.0%，显著优于先前方法。
• 在 MultiTHUMOS 上，PointTAD 实现 36.4% 的检测 mAP，较之前 SOTA 方法高出超过 5 个百分点。
• 在 Charades 上，PointTAD 实现 21.0% 的检测 mAP，展现出对日常室内活动的强大泛化能力。
• 消融实验验证了通过动作时长缩放回归偏移量可提升定位性能，证实了该设计选择的有效性。
• 通过使用 β = 0.2（MultiTHUMOS）和 β = 0.96（Charades）融合稀疏检测输出与密集分数，模型实现了具有竞争力的分割 mAP 结果。
• 可视化结果表明，查询点在解码器各层中从初始的中位位置逐步收敛至动作边界与语义关键帧的精确位置。