[论文解读] Proposal Relation Network for Temporal Action Detection

Xiang Wang, Zhiwu Qing+7 more|arXiv (Cornell University)|Jun 20, 2021

Human Pose and Action Recognition参考文献 20被引用 16

一句话总结

本论文提出了一种提案关系网络（PRN），通过使用自注意力机制建模提案之间的相互关系，提升两阶段时序动作检测中提案的质量，超越基线方法BMN。该方法在ActivityNet 2021测试集上实现了44.7%的平均mAP，较2020年冠军高出1.9%。

ABSTRACT

This technical report presents our solution for temporal action detection task in AcitivityNet Challenge 2021. The purpose of this task is to locate and identify actions of interest in long untrimmed videos. The crucial challenge of the task comes from that the temporal duration of action varies dramatically, and the target actions are typically embedded in a background of irrelevant activities. Our solution builds on BMN, and mainly contains three steps: 1) action classification and feature encoding by Slowfast, CSN and ViViT; 2) proposal generation. We improve BMN by embedding the proposed Proposal Relation Network (PRN), by which we can generate proposals of high quality; 3) action detection. We calculate the detection results by assigning the proposals with corresponding classification results. Finally, we ensemble the results under different settings and achieve 44.7% on the test set, which improves the champion result in ActivityNet 2020 by 1.9% in terms of average mAP.

研究动机与目标

• 为解决长时未剪辑视频中动作持续时间差异大以及背景杂波多的问题。
• 提升两阶段时序动作检测流水线中的提案生成质量。
• 通过端到端可训练模块建模提案之间的长程时间依赖关系。
• 评估基于Transformer的模型（如ViViT）在检测任务与分类任务中的表现差异。
• 在ActivityNet 2021时序动作检测基准上实现最先进性能。

提出的方法

• 采用Slowfast、CSN和ViViT作为主干网络，从视频片段中提取特征。
• 应用基于时间位移操作的数据增强模块，以提升特征鲁棒性。
• 提出一种提案关系网络（PRN），利用自注意力机制建模提案之间的依赖关系。
• 通过自注意力机制实现非局部操作，以捕捉提案间的长程时间关系。
• 利用提案生成网络输出的置信度图生成高质量提案。
• 实现PRN模块的端到端训练，无需预计算邻接矩阵或多阶段训练。

实验结果

研究问题

• RQ1 建模提案之间的相互关系是否能提升时序动作检测中的提案质量？
• RQ2 基于自注意力的关系建模与传统的卷积或GCN方法相比，在提案生成中表现如何？
• RQ3 为何基于Transformer的模型（如ViViT）在动作分类任务中表现优异，但在检测任务中表现较差？
• RQ4 通过时间位移实现的数据增强在多大程度上提升了检测的鲁棒性？
• RQ5 在多个主干网络和模型上进行集成学习，是否能进一步提升长时未剪辑视频上的检测性能？

主要发现

• 与BMN相比，PRN在验证集上的AUC从68.6%提升至69.3%，表明提案质量更高。
• 使用CSN特征时，PRN实现39.4%的平均mAP，优于BMN的38.1%，提升1.3个百分点。
• 所有模型的集成在验证集上达到42.0%的平均mAP，在测试集上达到44.7%，超过2020年冠军1.9%。
• ViViT在分类任务中达到91.2%的Top-1准确率，但在检测任务中仅实现37.5%的mAP，表明分类与检测性能之间存在差距。
• Slowfast152在分类任务中优于Slowfast101（88.9% vs. 87.1%），但在检测任务中表现更差（38.0% vs. 37.7%），表明主干网络的选择对检测任务的影响大于对分类任务。
• 基于时间位移的数据增强模块提升了模型鲁棒性，有助于检测任务中的更好泛化能力。