[论文解读] Temporal Action Proposal Generation with Transformers

Lining Wang, Haosen Yang+3 more|arXiv (Cornell University)|May 25, 2021

Human Pose and Action Recognition参考文献 37被引用 16

一句话总结

本文提出 TAPG Transformer，一种统一的时序动作提议生成框架，采用两种专用 Transformer：用于通过建模长程帧级依赖关系实现精确动作边界预测的边界 Transformer，以及通过稀疏采样实现鲁棒置信度评分、捕捉提议间关系的提议 Transformer。该方法在 ActivityNet-1.3 和 THUMOS14 基准上达到最先进性能，在提议质量和定位精度方面优于先前方法。

ABSTRACT

Transformer networks are effective at modeling long-range contextual information and have recently demonstrated exemplary performance in the natural language processing domain. Conventionally, the temporal action proposal generation (TAPG) task is divided into two main sub-tasks: boundary prediction and proposal confidence prediction, which rely on the frame-level dependencies and proposal-level relationships separately. To capture the dependencies at different levels of granularity, this paper intuitively presents a unified temporal action proposal generation framework with original Transformers, called TAPG Transformer, which consists of a Boundary Transformer and a Proposal Transformer. Specifically, the Boundary Transformer captures long-term temporal dependencies to predict precise boundary information and the Proposal Transformer learns the rich inter-proposal relationships for reliable confidence evaluation. Extensive experiments are conducted on two popular benchmarks: ActivityNet-1.3 and THUMOS14, and the results demonstrate that TAPG Transformer outperforms state-of-the-art methods. Equipped with the existing action classifier, our method achieves remarkable performance on the temporal action localization task. Codes and models will be available.

研究动机与目标

• 解决现有时序动作提议生成（TAPG）方法在缺乏长程上下文建模或未能建模提议级关系方面的局限性。
• 在单一基于 Transformer 的框架中统一建模帧级与提议级依赖关系，以提升边界预测与置信度预测性能。
• 通过引入稀疏提议采样机制而非密集提议生成，降低计算负担与类别不平衡问题。
• 通过将所提出的 TAPG 框架与现有动作分类器集成，提升时序动作定位性能。

提出的方法

• 边界 Transformer 处理由完整视频特征序列输入，利用自注意力机制建模长程时间依赖关系，预测精确的动作边界概率。
• 提议 Transformer 在通过新型稀疏采样机制生成的一组稀疏候选提议上运行，学习提议间的相互关系以实现置信度预测。
• 模糊匹配机制将预测的边界概率与提议置信度分数对齐，生成最终提议。
• 稀疏采样机制采用不同步长（如 5、3、2）的滑动窗口或基于斐波那契的间距，以减少冗余与计算成本。
• 在 Transformer 解码器中采用改进的查询形式，使用原始视频特征作为查询，有助于抑制全局噪声并平滑边界伪影。
• 该框架采用多层 Transformer 架构，消融实验表明在三层堆叠时性能最优。

实验结果

研究问题

• RQ1 统一的基于 Transformer 的框架能否有效建模时序动作提议生成中的帧级与提议级依赖关系？
• RQ2 在性能与计算效率方面，稀疏提议采样相较于密集提议生成有何差异？
• RQ3 Transformer 解码器中不同查询形式对边界预测精度与噪声鲁棒性有何影响？
• RQ4 边界 Transformer 与提议 Transformer 中，多少层能够实现性能与过拟合之间的最佳平衡？

主要发现

• TAPG Transformer 在 ActivityNet-1.3 与 THUMOS14 上均达到最先进性能，在提议生成的平均平均精度（mAP）方面优于先前最先进方法。
• 稀疏采样机制将提议数量减少至原始数量的约 7.5%，同时提升性能，证明了其高效性与有效性。
• 在 Transformer 解码器中使用原始视频特征作为查询可获得最佳性能，减少过度平滑与对噪声的敏感性。
• 在边界与提议 Transformer 中堆叠三层可获得最优性能，而更深网络则导致过拟合与性能下降。
• 可视化结果表明，即使在噪声或模糊场景中（如背景与动作帧外观相似），模型仍能正确定位动作。
• 该方法在包含多个动作实例的复杂视频中泛化能力良好，能准确将 top-k 提议与真实动作匹配。