[论文解读] Probing Visual-Audio Representation for Video Highlight Detection via Hard-Pairs Guided Contrastive Learning

Shuai Cheng Li, Feng Zhang+5 more|arXiv (Cornell University)|Jun 21, 2022

Video Analysis and Summarization被引用 5

一句话总结

该论文提出了一种基于难样本对的对比学习（HPCL）框架，用于视频精彩瞬间检测，通过跨模态与模态内共现编码增强视觉-音频表征，提升特征判别能力。该方法在YouTube Highlights（F1: 0.747）和TVSum（F1: 0.803）数据集上达到最先进性能，通过聚焦语义相似但难以区分的正样本与负样本对，实现更具判别性的对比学习，显著提升了特征的紧凑性与分离性。

ABSTRACT

Video highlight detection is a crucial yet challenging problem that aims to identify the interesting moments in untrimmed videos. The key to this task lies in effective video representations that jointly pursue two goals, extit{i.e.}, cross-modal representation learning and fine-grained feature discrimination. In this paper, these two challenges are tackled by not only enriching intra-modality and cross-modality relations for representation modeling but also shaping the features in a discriminative manner. Our proposed method mainly leverages the intra-modality encoding and cross-modality co-occurrence encoding for fully representation modeling. Specifically, intra-modality encoding augments the modality-wise features and dampens irrelevant modality via within-modality relation learning in both audio and visual signals. Meanwhile, cross-modality co-occurrence encoding focuses on the co-occurrence inter-modality relations and selectively captures effective information among multi-modality. The multi-modal representation is further enhanced by the global information abstracted from the local context. In addition, we enlarge the discriminative power of feature embedding with a hard-pairs guided contrastive learning (HPCL) scheme. A hard-pairs sampling strategy is further employed to mine the hard samples for improving feature discrimination in HPCL. Extensive experiments conducted on two benchmarks demonstrate the effectiveness and superiority of our proposed methods compared to other state-of-the-art methods.

研究动机与目标

• 为解决学习具有判别性的视频表征的挑战，联合建模跨模态上下文并区分精彩片段与非精彩片段。
• 通过基于注意力的编码增强模态内与跨模态关系，提升视频精彩瞬间检测性能。
• 通过引入基于难样本对的对比学习（HPCL）方案，聚焦于语义相似但难以区分的精彩与非精彩片段，提升特征判别能力。
• 通过解码器实现全局上下文抽象，选择性聚合片段级表征，提升语义理解能力。

提出的方法

• 该方法采用三条并行路径：视觉、音频与共现路径，利用模态特异性和序列注意力机制建模模态内与跨模态关系。
• 模态内编码通过学习音频与视觉路径内部的模态内关系，增强模态特异性特征并抑制无关信号。
• 跨模态共现编码通过建模跨模态的共现模式，捕捉同步且相关的跨模态信号。
• 全局解码器通过选择性整合片段级表征，抽象高层语义上下文，提升整体表征质量。
• 引入基于难样本对的对比学习（HPCL），通过拉近正样本（精彩片段）与推远难负样本（干扰性非精彩片段）来提升特征判别能力。
• 采用难样本对采样策略，优先选择靠近精彩片段边界的困难负样本，增强模型区分细微差异的能力。

实验结果

研究问题

• RQ1 如何联合优化视觉-音频表征，以提升视频精彩瞬间检测中的跨模态上下文建模能力？
• RQ2 模态内关系学习在提升模态特异性特征质量与降低噪声方面发挥何种作用？
• RQ3 与简单拼接或交叉注意力相比，跨模态信号的共现编码在表征学习方面有何优势？
• RQ4 基于难样本对的对比学习在多大程度上提升了精彩片段间的判别能力？
• RQ5 从片段级特征中抽象全局上下文对最终检测性能有何影响？

主要发现

• 所提方法在YouTube Highlights数据集上取得0.747的F1分数，在TVSum数据集上取得0.803的F1分数，优于先前最先进方法。
• 消融实验表明，移除全局解码器导致性能轻微下降，随机初始化的性能劣于使用片段嵌入均值初始化的结果。
• 引入HPCL相比无对比损失的基线方法，在YouTube Highlights上提升3.1%，在TVSum上提升2.6%。
• 共现编码模块显著提升性能，使YouTube Highlights上的F1从0.697（CR-AV）提升至0.747，证明其优于标准交叉注意力机制。
• 难样本对采样在YouTube Highlights上带来额外1.4%的性能增益，证实其在增强特征判别能力方面的价值。
• t-SNE可视化结果表明，最终模型在应用HPCL后实现了更优的类内紧凑性与类间分离性，尤其在类内紧凑性方面表现突出。