[论文解读] TransVCL: Attention-enhanced Video Copy Localization Network with Flexible Supervision

Sifeng He, Yue He+7 more|arXiv (Cornell University)|Nov 23, 2022

Fetal and Pediatric Neurological Disorders被引用 5

一句话总结

TransVCL 提出了一种端到端、注意力增强的视频复制定位网络，通过自注意力和交叉注意力机制的定制化 Transformer，联合优化特征增强、相似度矩阵生成与时间对齐。该方法在片段级视频复制定位基准上实现了最先进性能，并在有限或仅视频级标注的半监督与弱监督设置下展现出强大的泛化能力。

ABSTRACT

Video copy localization aims to precisely localize all the copied segments within a pair of untrimmed videos in video retrieval applications. Previous methods typically start from frame-to-frame similarity matrix generated by cosine similarity between frame-level features of the input video pair, and then detect and refine the boundaries of copied segments on similarity matrix under temporal constraints. In this paper, we propose TransVCL: an attention-enhanced video copy localization network, which is optimized directly from initial frame-level features and trained end-to-end with three main components: a customized Transformer for feature enhancement, a correlation and softmax layer for similarity matrix generation, and a temporal alignment module for copied segments localization. In contrast to previous methods demanding the handcrafted similarity matrix, TransVCL incorporates long-range temporal information between feature sequence pair using self- and cross- attention layers. With the joint design and optimization of three components, the similarity matrix can be learned to present more discriminative copied patterns, leading to significant improvements over previous methods on segment-level labeled datasets (VCSL and VCDB). Besides the state-of-the-art performance in fully supervised setting, the attention architecture facilitates TransVCL to further exploit unlabeled or simply video-level labeled data. Additional experiments of supplementing video-level labeled datasets including SVD and FIVR reveal the high flexibility of TransVCL from full supervision to semi-supervision (with or without video-level annotation). Code is publicly available at https://github.com/transvcl/TransVCL.

研究动机与目标

• 解决传统手工设计相似度矩阵在视频复制定位中的局限性，其无法建模长程时间依赖性且易陷入局部优化。
• 通过整合自注意力与交叉注意力机制，克服对孤立帧级特征处理的依赖，以建模视频内与视频间的时间关系。
• 通过引入可学习的全局标记与辅助视频级分类损失，实现从弱监督或无标注数据中有效学习。
• 通过端到端优化特征增强、相似度学习与时间对齐，提升定位精度。
• 在全监督、半监督与弱监督学习设置下均表现出鲁棒性与适应性，且标注成本极低。

提出的方法

• 引入定制化的 Transformer 编码器，结合自注意力与交叉注意力层，通过建模查询视频与参考视频序列内部及之间的长程依赖关系，增强帧级特征。
• 用可微分的相关性与 Softmax 层替代手工设计的余弦相似度，从增强特征中生成可学习的、判别性强的相似度矩阵。
• 集成时间对齐模块，通过在时间约束下识别学习到的相似度矩阵中的高相似度模式，检测复制片段的边界。
• 在特征序列中添加可学习的类别标记，聚合全局视频级表征，支持辅助视频级二分类任务以提升泛化能力。
• 采用多任务损失联合训练整个网络，结合实例级（片段定位）与视频级（二分类）监督。
• 通过联合优化有标注数据、无标注数据与弱标注数据（视频级标注），支持灵活的监督策略，引入加权无监督损失组件。

实验结果

研究问题

• RQ1 端到端的基于注意力的架构是否能在视频复制定位中超越依赖手工相似度矩阵的传统流水线？
• RQ2 自注意力与交叉注意力机制在多大程度上能提升视频复制检测中长程时间依赖性的建模能力？
• RQ3 在仅有限或无片段级标注的半监督与弱监督设置下，所提方法的有效性如何？
• RQ4 通过可学习标记集成的全局视频级表征，是否能提升视频复制定位的性能与泛化能力？
• RQ5 当仅使用少量标注数据并辅以大规模无标注或弱标注数据训练时，模型是否仍能保持强性能？

主要发现

• TransVCL 在全监督的 VCSL 与 VCDB 数据集上实现了最先进性能，在 100% VCSL 上取得 66.51% 的 F-score，优于先前方法。
• 在 1% VCSL 半监督设置下，TransVCL 将 F-score 从监督基线的 23.10% 提升至 37.28%，仅使用 1% 标注数据与 99 倍的无标注数据。
• 在 FIVR 与 SVD 数据集的视频级弱监督设置下，TransVCL 在 100% VCSL 数据上训练时取得 67.13% 的 F-score，较监督基线提升 +0.62。
• 即使在较小规模的弱标注数据（1.8× 的 10% VCSL）下，方法仍表现出显著性能提升，优于 9 倍大的无标注数据集在 F-score 提升方面的表现。
• 该模型在不同数据规模与监督水平下均保持强性能，展现出在真实应用中高度的灵活性与可扩展性。
• 可视化结果表明，注意力机制能够有效聚焦于参考视频中的相关复制时刻，同时抑制无关的过渡，表明其具备有效的特征学习能力。