[论文解读] Pyramid Region-based Slot Attention Network for Temporal Action Proposal Generation

Shuai Cheng Li, Feng Zhang+5 more|arXiv (Cornell University)|Jun 21, 2022

Human Pose and Action Recognition被引用 4

一句话总结

该论文提出PRSA-Net，一种基于金字塔区域的槽注意力网络，通过新颖的PRSlot模块学习动作感知表征，从而提升时序动作提议生成性能。与基于相似度的注意力机制不同，PRSlot采用基于区域的注意力机制和并行金字塔策略，更有效地建模局部上下文，实现了SOTA性能，在THUMOS1.3上达到56.12%的AR@100和58.7%的mAP@0.5。

ABSTRACT

It has been found that temporal action proposal generation, which aims to discover the temporal action instances within the range of the start and end frames in the untrimmed videos, can largely benefit from proper temporal and semantic context exploitation. The latest efforts were dedicated to considering the temporal context and similarity-based semantic contexts through self-attention modules. However, they still suffer from cluttered background information and limited contextual feature learning. In this paper, we propose a novel Pyramid Region-based Slot Attention (PRSlot) module to address these issues. Instead of using the similarity computation, our PRSlot module directly learns the local relations in an encoder-decoder manner and generates the representation of a local region enhanced based on the attention over input features called extit{slot}. Specifically, upon the input snippet-level features, PRSlot module takes the target snippet as extit{query}, its surrounding region as extit{key} and then generates slot representations for each extit{query-key} slot by aggregating the local snippet context with a parallel pyramid strategy. Based on PRSlot modules, we present a novel Pyramid Region-based Slot Attention Network termed PRSA-Net to learn a unified visual representation with rich temporal and semantic context for better proposal generation. Extensive experiments are conducted on two widely adopted THUMOS14 and ActivityNet-1.3 benchmarks. Our PRSA-Net outperforms other state-of-the-art methods. In particular, we improve the AR@100 from the previous best 50.67% to 56.12% for proposal generation and raise the mAP under 0.5 tIoU from 51.9\% to 58.7\% for action detection on THUMOS14. extit{Code is available at} \url{https://github.com/handhand123/PRSA-Net}

研究动机与目标

• 为解决现有方法在捕捉时序动作提议生成所需的丰富时序与语义上下文方面的局限性。
• 降低未剪辑视频中杂乱背景内容对提议质量的负面影响。
• 通过更有效地建模局部、与动作相关的上下文，提升提议质量，优于成对相似度-based的注意力机制。
• 通过结构化、区域感知的注意力机制增强特征表征学习，聚焦于局部片段上下文。
• 在提议生成和下游动作检测任务中均实现SOTA性能。

提出的方法

• 提出一种基于金字塔区域的槽注意力（PRSlot）模块，通过关注目标片段周围的局部区域，学习以对象为中心的表征。
• 引入基于区域的注意力（RA），利用编码器-解码器架构直接估计注意力分数，将交互限制在局部空间区域。
• 采用并行金字塔策略，同时在多个尺度上更新槽表征，避免迭代优化，提升效率。
• 以片段级特征作为输入，生成编码了局部上下文和语义相关性的增强槽表征。
• 将PRSlot模块集成到统一网络（PRSA-Net）中，端到端生成边界得分和提议置信度得分。
• 在两阶段框架中应用PRSA-Net：首先生成提议，然后使用外部或提议级分类器对提议进行分类。

实验结果

研究问题

• RQ1 基于区域的注意力机制是否能在时序动作提议生成中比基于相似度的注意力机制更有效地建模局部上下文？
• RQ2 多尺度、并行金字塔槽更新相比串行或单尺度方法，在特征表征学习方面有何改进？
• RQ3 PRSA-Net在多大程度上能减轻背景杂乱的影响，并提升未剪辑视频中的提议质量？
• RQ4 所提出的PRSlot模块是否在提议生成和下游动作检测任务中均带来显著性能提升？
• RQ5 该模型在不同IoU阈值下，以及在THUMOS14和ActivityNet-1.3等基准上的表现如何？

主要发现

• 在THUMOS1.3上，PRSA-Net达到56.12%的AR@100，优于此前SOTA的50.67%。
• 在THUMOS1.3上，使用Unet分类器时，动作检测的mAP@0.5从45.4%提升至55.0%，使用P-GCN提议级分类器时达到58.7%。
• 在ActivityNet-1.3上，PRSA-Net实现52.37%的mAP@0.5，显著优于先前SOTA方法。
• 消融实验表明，采用{4,8}个区域的多尺度金字塔策略性能最优，在准确率与模型复杂度之间取得良好平衡。
• 在PRSlot模块中使用两次迭代可获得最佳性能，三次迭代时性能出现下降。
• 定性结果表明，PRSA-Net即使在背景复杂且存在多个重叠动作的视频中，也能成功检测动作边界。