[论文解读] Winning the CVPR'2021 Kinetics-GEBD Challenge: Contrastive Learning Approach

Hyolim Kang, Jinwoo Kim+3 more|arXiv (Cornell University)|Jun 22, 2021

Human Pose and Action Recognition参考文献 22被引用 5

一句话总结

该论文提出了一种基于对比学习的通用事件边界检测（GEBD）方法，利用时间自相似性矩阵（TSM）作为中间表示，以捕捉事件边界处的视觉内容变化。通过结合TSM前向传播与对比损失，以及直接预测前向传播，该模型在CVPR'2021 Kinetics-GEBD挑战赛中以81.3的F1分数取得最先进性能。

ABSTRACT

Generic Event Boundary Detection (GEBD) is a newly introduced task that aims to detect "general" event boundaries that correspond to natural human perception. In this paper, we introduce a novel contrastive learning based approach to deal with the GEBD. Our intuition is that the feature similarity of the video snippet would significantly vary near the event boundaries, while remaining relatively the same in the remaining part of the video. In our model, Temporal Self-similarity Matrix (TSM) is utilized as an intermediate representation which takes on a role as an information bottleneck. With our model, we achieved significant performance boost compared to the given baselines. Our code is available at https://github.com/hello-jinwoo/LOVEU-CVPR2021.

研究动机与目标

• 为解决基于人类感知的长视频中类别无关事件边界的检测挑战，该挑战具有主观性且缺乏类别特定标注。
• 改善GEBD中的训练信号质量，因为标准BCE损失无法为深度Transformer编码器提供足够的梯度。
• 通过将时间自相似性矩阵（TSM）作为信息瓶颈，增强事件边界检测的特征表示。
• 通过凸组合方式结合多个预测头——基于TSM的预测头与直接预测头——以提升鲁棒性与性能。
• 在不使用外部数据或标注的情况下，于Kinetics-GEBD基准上实现最先进结果。

提出的方法

• 该模型采用双路径架构：一条路径通过基于TSM的解码器处理特征，另一条路径则直接从编码特征预测边界。
• 在TSM表示上应用对比学习损失，将边界附近的局部相似性模式作为正样本对，非边界区域作为负样本对。
• 对比损失在Siamese风格投影头（Simsiam）生成的特征对之间计算，使用三元掩码隔离与边界相关区域。
• 编码器采用具有不同感受野的并行模块——一维卷积用于局部特征，Transformer用于长程依赖——每种模块分别针对动作、镜头或组合边界进行优化。
• 最终预测为两条路径的凸组合，组合权重通过BCE损失端到端学习。
• 后处理包括K=1或2的峰值估计与阈值化处理，以抑制低置信度预测，同时通过五折数据划分的模型集成提升泛化能力。

实验结果

研究问题

• RQ1 时间自相似性矩阵（TSM）能否有效作为未剪辑视频中通用事件边界检测的中间表示？
• RQ2 当标准BCE损失无法提供足够监督时，对比学习是否能改善GEBD中深层编码器的梯度信号？
• RQ3 将基于TSM的路径与直接预测路径结合，是否能带来优于任一路径单独使用的效果？
• RQ4 数据增强、模型集成与后处理对Kinetics-GEBD基准上最终性能的影响如何？
• RQ5 所提出方法在不同视频特征提取器与数据集划分上的泛化能力如何？

主要发现

• 完整模型结合直接预测与TSM路径，并引入对比学习，在Kinetics-GEBD验证集上达到81.3的F1分数，显著优于基线PC模型（62.5 F1）。
• 移除TSM路径导致F1分数下降3.3个百分点（从81.3降至78.0），证明TSM在捕捉与边界相关模式方面具有关键作用。
• 仅使用TSM路径但无对比损失时（74.3 F1）性能低于完整模型，表明仅靠BCE损失无法为有效训练提供足够梯度。
• 仅使用直接预测路径时F1为78.0，表明直接监督有效，但当结合对比学习时，其性能仍弱于基于TSM的方法。
• 通过五折交叉验证划分的预测集成，以及采用双分支集成头，进一步提升了鲁棒性与泛化能力。
• 通过峰值检测与阈值化处理的后处理，减少了误报并消除了相邻重复预测，显著提升了最终输出的清晰度。