[论文解读] Towards High-Quality Temporal Action Detection with Sparse Proposals

Jiannan Wu, Peize Sun+5 more|arXiv (Cornell University)|Sep 18, 2021

Human Pose and Action Recognition参考文献 46被引用 6

一句话总结

该论文提出SP-TAD，一种基于查询的时序动作检测框架，通过提议框与主干网络中间层的高分辨率特征之间的稀疏、局部交互，提升长时和短时动作实例的边界定位精度与整体性能。在THUMOS14上达到SOTA结果（mAP@Avg为53.5%），在ActivityNet-1.3上表现具有竞争力，且由于计算复杂度降低，推理速度相比全局注意力方法更快。

ABSTRACT

Temporal Action Detection (TAD) is an essential and challenging topic in video understanding, aiming to localize the temporal segments containing human action instances and predict the action categories. The previous works greatly rely upon dense candidates either by designing varying anchors or enumerating all the combinations of boundaries on video sequences; therefore, they are related to complicated pipelines and sensitive hand-crafted designs. Recently, with the resurgence of Transformer, query-based methods have tended to become the rising solutions for their simplicity and flexibility. However, there still exists a performance gap between query-based methods and well-established methods. In this paper, we identify the main challenge lies in the large variants of action duration and the ambiguous boundaries for short action instances; nevertheless, quadratic-computational global attention prevents query-based methods to build multi-scale feature maps. Towards high-quality temporal action detection, we introduce Sparse Proposals to interact with the hierarchical features. In our method, named SP-TAD, each proposal attends to a local segment feature in the temporal feature pyramid. The local interaction enables utilization of high-resolution features to preserve action instances details. Extensive experiments demonstrate the effectiveness of our method, especially under high tIoU thresholds. E.g., we achieve the state-of-the-art performance on THUMOS14 (45.7% on mAP@0.6, 33.4% on mAP@0.7 and 53.5% on mAP@Avg) and competitive results on ActivityNet-1.3 (32.99% on mAP@Avg). Code will be made available at https://github.com/wjn922/SP-TAD.

研究动机与目标

• 为解决密集提议方法在时序动作检测中的局限性，如计算成本高以及对人工设计的锚框或阈值敏感的问题。
• 克服基于查询的方法与基于锚框的方法在高质量时序动作检测中的性能差距，尤其针对短时和时长可变的动作。
• 通过避免使用全局注意力机制，转而采用局部化、分层的特征交互，实现对高分辨率特征的有效利用，以实现精确的边界定位。
• 开发一种统一的、端到端可训练框架，实现RGB与光流流的早期融合，避免晚期融合或复杂流水线。

提出的方法

• SP-TAD使用少量可学习查询来预测动作实例，构建了一个简洁的基于查询的检测流程，避免了密集锚框的生成。
• 提出一种新颖的稀疏交互机制，其中每个提议仅关注时间特征金字塔的一个局部片段，从而保留主干网络中间层的高分辨率细节。
• 通过主干网络中间层的特征构建时间特征金字塔（TFPN），在不损失下采样精度的前提下实现多尺度表征。
• 通过堆叠的检测头进行迭代优化，逐步精炼提议边界，提升定位精度。
• 增加一个动作分类头，用于校正检测头预测的分类分数，从而提升整体准确率。
• 模型从原始的双流输入（RGB与光流）端到端训练，采用统一架构实现早期特征融合，避免晚期融合。

实验结果

研究问题

• RQ1 基于查询的方法是否能在不依赖密集提议或人工锚框的前提下，实现时序动作检测的SOTA性能？
• RQ2 与高分辨率特征进行局部稀疏交互，如何提升短时和长时动作实例的边界定位性能？
• RQ3 使用主干网络中间层特征对特征分辨率与检测质量有何影响？
• RQ4 迭代优化策略如何提升高IoU阈值下的mAP表现？
• RQ5 通过端到端优化实现RGB与光流流的早期融合，是否能优于晚期融合或独立的双流网络？

主要发现

• SP-TAD在THUMOS14上实现SOTA性能，mAP@Avg为53.5%，mAP@0.6为45.7%，mAP@0.7为33.4%，在高IoU阈值下显著优于先前方法。
• 在时间特征金字塔中使用中间层特征可提升边界定位性能，尤其对短时动作实例更为明显，体现在mAP@0.6与mAP@0.7的性能提升。
• 采用四层堆叠检测头的迭代优化策略表现最佳，相比单个检测头，mAP@Avg提升6.0%，证明其必要性与有效性。
• 添加动作分类头使THUMOS14上的mAP@Avg从52.1%提升至53.5%，证实其在纠正检测头分类错误方面的价值。
• 256个token的片段长度达到最佳平衡，覆盖98%的动作实例并实现最高mAP，而更长或更短的片段均导致性能下降。
• 可视化结果表明，SP-TAD生成的时序边界比SOTA方法（如AFSD）更接近真实边界，尤其在高IoU阈值下表现更优。