[论文解读] Structured Context Transformer for Generic Event Boundary Detection

Congcong Li, Xinyao Wang+5 more|arXiv (Cornell University)|Jun 7, 2022

Anomaly Detection Techniques and Applications被引用 4

一句话总结

本文提出结构化上下文Transformer（SC-Transformer），一种用于通用事件边界检测（GEBD）的端到端方法，通过结构化序列划分实现基于Transformer的线性复杂度时序建模。该方法计算帧表示之间的组间相似性，并采用轻量级全卷积网络（FCN）进行边界预测，在Kinetics-GEBD和TAPOS数据集上实现最先进性能，相比DDM-Net实现1.3%的绝对F1提升。

ABSTRACT

Generic Event Boundary Detection (GEBD) aims to detect moments where humans naturally perceive as event boundaries. In this paper, we present Structured Context Transformer (or SC-Transformer) to solve the GEBD task, which can be trained in an end-to-end fashion. Specifically, we use the backbone convolutional neural network (CNN) to extract the features of each video frame. To capture temporal context information of each frame, we design the structure context transformer (SC-Transformer) by re-partitioning input frame sequence. Note that, the overall computation complexity of SC-Transformer is linear to the video length. After that, the group similarities are computed to capture the differences between frames. Then, a lightweight fully convolutional network is used to determine the event boundaries based on the grouped similarity maps. To remedy the ambiguities of boundary annotations, the Gaussian kernel is adopted to preprocess the ground-truth event boundaries to further boost the accuracy. Extensive experiments conducted on the challenging Kinetics-GEBD and TAPOS datasets demonstrate the effectiveness of the proposed method compared to the state-of-the-art methods.

研究动机与目标

• 解决在人类水平粒度下检测视频中事件边界的挑战，其中边界为无分类体系且基于感知的。
• 克服现有方法因缺乏结构化上下文建模而导致的二次方计算复杂度或冗余帧处理的局限性。
• 通过高效建模时序上下文来提升边界检测精度，同时处理人类标注事件边界固有的模糊性。
• 通过设计适用于长视频序列的线性复杂度架构，实现端到端训练并具备高推理效率。
• 引入一种新颖的组相似性机制，以增强边界检测的判别性特征学习，区别于以往的全局相似性或单组方法。

提出的方法

• 使用CNN主干网络从每帧视频中提取2D特征，随后通过全局平均池化形成帧嵌入序列。
• 应用序列结构化划分（SPoS）机制，将帧序列重新划分为每个帧的局部结构化上下文，实现线性复杂度的局部注意力。
• 在每个结构化上下文中应用Transformer编码器块，通过局部序列上的高效可扩展自注意力机制学习高层表示。
• 在多个通道间计算帧表示之间的组相似性，以捕捉判别性差异，采用可学习的分组机制以提升特征判别力。
• 使用轻量级全卷积网络（FCN）从分组相似性图中预测事件边界，实现密集的、帧级的边界分类。
• 在训练期间对真实标签应用高斯核平滑，以减少标签模糊性，提升模型收敛性与鲁棒性。

实验结果

研究问题

• RQ1 具有线性复杂度的结构化上下文建模方法是否能在GEBD中超越现有的全局或局部自注意力机制？
• RQ2 组相似性学习与单组或全局相似性计算相比，在捕捉边界检测中帧间判别性差异方面表现如何？
• RQ3 对真实标签边界的高斯平滑在模糊的GEBD标注中在多大程度上能提升训练稳定性与模型泛化能力？
• RQ4 在捕捉足够时序上下文的同时，避免引入噪声的前提下，结构化上下文划分的最优窗口大小为何？
• RQ5 在所提出的SC-Transformer架构中，模型宽度与相似性组数量如何影响性能与效率？

主要发现

• 所提出的SC-Transformer在Kinetics-GEBD数据集上相比DDM-Net实现1.3%的绝对F1提升，展现出最先进性能。
• 在Kinetics-GEBD上平均F1得分为0.881，在TAPOS上为0.882，且在所有评估阈值（0.05、0.25、0.5）下均保持一致增益。
• 使用高斯平滑与BCE损失可使平均F1提升0.016，证实其在缓解标签模糊性与过自信问题上的有效性。
• 上下文建模的最优相邻窗口大小为K=8，因更大值会导致性能饱和或轻微下降，源于多事件边界的噪声干扰。
• 组相似性中G=8时达到最高性能（平均F1为0.882），表明多组相似性学习可增强判别性特征学习。
• 该模型在视频长度上保持线性计算复杂度，支持高效推理与训练，尤其适用于长视频。