[论文解读] Relaxed Transformer Decoders for Direct Action Proposal Generation

Jing Tan, Jiaqi Tang+2 more|arXiv (Cornell University)|Feb 3, 2021

Human Pose and Action Recognition被引用 4

一句话总结

该论文提出RTD-Net，一种用于直接时序动作提议生成的宽松Transformer解码器框架，通过边界注意力编码器、宽松匹配策略和三分支检测头，取代基于锚点和启发式匹配的方法。该方法在THUMOS14和ActivityNet-1.3上实现了最先进性能，推理速度更快，且无需非极大值抑制（NMS）。

ABSTRACT

Temporal action proposal generation is an important and challenging task in video understanding, which aims at detecting all temporal segments containing action instances of interest. The existing proposal generation approaches are generally based on pre-defined anchor windows or heuristic bottom-up boundary matching strategies. This paper presents a simple and efficient framework (RTD-Net) for direct action proposal generation, by re-purposing a Transformer-alike architecture. To tackle the essential visual difference between time and space, we make three important improvements over the original transformer detection framework (DETR). First, to deal with slowness prior in videos, we replace the original Transformer encoder with a boundary attentive module to better capture long-range temporal information. Second, due to the ambiguous temporal boundary and relatively sparse annotations, we present a relaxed matching scheme to relieve the strict criteria of single assignment to each groundtruth. Finally, we devise a three-branch head to further improve the proposal confidence estimation by explicitly predicting its completeness. Extensive experiments on THUMOS14 and ActivityNet-1.3 benchmarks demonstrate the effectiveness of RTD-Net, on both tasks of temporal action proposal generation and temporal action detection. Moreover, due to its simplicity in design, our framework is more efficient than previous proposal generation methods, without non-maximum suppression post-processing. The code and models are made available at https://github.com/MCG-NJU/RTD-Action.

研究动机与目标

• 为解决基于锚点和边界匹配方法在时序动作提议生成中的局限性，这些方法依赖手工设计且对噪声敏感。
• 将Transformer架构适配于视频动作提议生成，克服特征更新缓慢和时序边界模糊等挑战。
• 通过三分支检测头学习一致的提议评分，消除对非极大值抑制（NMS）的需求。
• 通过显式建模提议完整性，利用tIoU估计头提升提议质量。
• 通过端到端训练和推理的集合预测范式，简化提议生成流程。

提出的方法

• 用边界注意力模块替代标准Transformer编码器，以更好地捕捉长程时序依赖性，并减轻因特征变化缓慢导致的过度平滑问题。
• 引入宽松匹配策略，允许多个预测被分配给单个真实框，从而降低模糊或噪声标注的负面影响。
• 设计三分支检测头，联合预测边界框坐标、分类分数和完整性分数（tIoU），以提升提议置信度估计。
• 在完整性头使用tIoU损失进行正则化，指导模型生成更准确和完整的提议。
• 采用带宽松匹配的集合损失进行端到端训练，实现无需锚点生成或后处理的直接提议预测。
• 利用解码器中的自注意力机制全局建模提议间关系，通过上下文推理提升定位精度。

Figure 2: Pipeline of RTD-Net. Our RTD-Net streamlines the process of temporal action proposal generation by viewing it as a direct set prediction problem. It is composed of three unique designs: a boundary-attentive module for feature extraction, a transformer decoder for direct and parallel decodi

实验结果

研究问题

• RQ1 基于Transformer的架构能否有效适配于直接时序动作提议生成，从而绕过锚点和启发式匹配机制？
• RQ2 在基于Transformer的框架中，如何应对视频特征固有的缓慢性和时序边界的模糊性？
• RQ3 与严格的一对一分配相比，宽松匹配策略是否能提升训练稳定性和泛化能力？
• RQ4 通过tIoU损失显式估计完整性是否能提升提议质量并消除对NMS的需求？
• RQ5 在标准基准上，该框架相较于基于锚点和自底向上边界的方法，在效率和精度方面表现如何？

主要发现

• RTD-Net在ActivityNet-1.3上达到61.11% AR@100，在HACS Segments上达到16.34% AR@1，仅使用100个查询，尽管提议数量更少，仍优于BSN在AR@1上的表现。
• 在HACS Segments上，模型AUC达到53.41%，与BSN相当，且无需NMS，表明在低提议数量下效率更高。
• 使用早期融合的RGB与光流特征，使THUMOS14上AR@50提升至41.52%，优于仅RGB（37.28%）和仅光流（38.75%）特征。
• 完整性头显著提升了提议质量，其评分能一致地按质量排序提议，并支持无NMS推理。
• 宽松匹配器提升了收敛速度和泛化能力，尤其在存在噪声或模糊标注的数据集上表现更优。
• 边界注意力编码器有效缓解了因特征变化缓慢导致的过度平滑问题，提升了边界定位精度。

Figure 3: Qualitative results of RTD-Net on THUMOS14. The proposals shown are the top predictions for corresponding groundtruths based on the scoring scheme for each model.