[论文解读] Temporal Context Aggregation Network for Temporal Action Proposal Refinement

Zhiwu Qing, Haisheng Su+8 more|arXiv (Cornell University)|Mar 24, 2021

Human Pose and Action Recognition参考文献 43被引用 13

一句话总结

本文提出时序上下文聚合网络（TCANet），一种新颖的框架，通过局部-全局时序编码器（LGTE）联合建模局部与全局时序依赖关系，并利用时序边界回归器（TBR）实现互补且渐进的边界优化，从而精炼时序动作提议。TCANet在HACS、ActivityNet-v1.3和THUMOS-14数据集上取得最先进性能，并在CVPR 2020 HACS挑战赛中获得第一名。

ABSTRACT

Temporal action proposal generation aims to estimate temporal intervals of actions in untrimmed videos, which is a challenging yet important task in the video understanding field. The proposals generated by current methods still suffer from inaccurate temporal boundaries and inferior confidence used for retrieval owing to the lack of efficient temporal modeling and effective boundary context utilization. In this paper, we propose Temporal Context Aggregation Network (TCANet) to generate high-quality action proposals through "local and global" temporal context aggregation and complementary as well as progressive boundary refinement. Specifically, we first design a Local-Global Temporal Encoder (LGTE), which adopts the channel grouping strategy to efficiently encode both "local and global" temporal inter-dependencies. Furthermore, both the boundary and internal context of proposals are adopted for frame-level and segment-level boundary regressions, respectively. Temporal Boundary Regressor (TBR) is designed to combine these two regression granularities in an end-to-end fashion, which achieves the precise boundaries and reliable confidence of proposals through progressive refinement. Extensive experiments are conducted on three challenging datasets: HACS, ActivityNet-v1.3, and THUMOS-14, where TCANet can generate proposals with high precision and recall. By combining with the existing action classifier, TCANet can obtain remarkable temporal action detection performance compared with other methods. Not surprisingly, the proposed TCANet won the 1$^{st}$ place in the CVPR 2020 - HACS challenge leaderboard on temporal action localization task.

研究动机与目标

• 为解决现有时序动作提议生成方法在建模长程时序依赖关系方面的局限性，以及在精确优化提议边界方面的不足。
• 通过有效利用内部上下文（用于置信度）与边界上下文（用于定位精度）来提升提议质量。
• 设计一个统一的端到端框架，实现在帧级与片段级上互补且渐进的边界优化。
• 在保持推理效率的同时，实现高召回率与高精确率，尤其针对短时长动作。

提出的方法

• 局部-全局时序编码器（LGTE）将输入特征划分为通道组：局部组使用一维卷积建模短程依赖，全局组使用全局池化捕捉长程上下文。
• LGTE并行处理这些组并进行特征融合，以同时保留局部细节与全局结构，增强边界感知能力并减少噪声。
• 时序边界回归器（TBR）执行两阶段优化：帧级回归利用边界敏感特征优化起始/结束时间戳，片段级回归利用整体提议上下文优化中心位置与持续时间。
• TBR以端到端方式结合两种回归，实现更高品质提议的渐进式与互补式边界优化。
• 该框架设计为模块化结构，可无缝集成至现有两阶段动作检测流水线中。
• TCANet采用多任务损失进行端到端训练，损失函数结合了帧级与片段级回归目标。

实验结果

研究问题

• RQ1 联合建模局部与全局时序依赖关系是否能提升时序动作提议的质量？
• RQ2 将帧级边界回归与片段级上下文回归相结合，是否能生成更精确且更可靠的提议？
• RQ3 通道分组编码架构能否有效平衡局部细节保留与全局上下文感知？
• RQ4 在提议质量与检测性能方面，该方法相较于最先进基线表现如何？
• RQ5 该框架在长时未剪辑视频上的效率与可扩展性如何？

主要发现

• TCANet在HACS数据集上达到55.60%的最高mAP，超越所有基线方法，并在CVPR 2020 HACS挑战赛中获得第一名。
• 在ActivityNet-v1.3数据集上，TCANet在IoU=0.5时达到55.60%的平均平均精度（mAP），展现出强大的跨基准泛化能力。
• 该方法在较少提议数量下显著提升了平均召回率（AR），表明即使在低提议数量下也具备更高品质的提议。
• 消融实验表明，使用四个LGTE模块可最大化性能，但两个模块在大多数实验中已足够。
• TCANet在每段9分钟视频、2000个提议下仅需20.9ms推理时间，仅为BMN所需时间的10%，展现出极高的效率。
• 可视化结果证实，LGTE生成的边界概率序列比仅使用GTE更平滑、更准确，有效降低噪声并增强定位能力。