[论文解读] Multi-Scale Self-Contrastive Learning with Hard Negative Mining for Weakly-Supervised Query-based Video Grounding

Shentong Mo, Daizong Liu+1 more|arXiv (Cornell University)|Mar 8, 2022

Multimodal Machine Learning Applications被引用 4

一句话总结

本文提出了一种多尺度自对比学习框架，结合困难负样本挖掘，用于弱监督查询式视频定位，实现无需冗余片段提议的帧级匹配分数预测。通过以粗到精的方式迭代挖掘多尺度困难负样本，该方法学习到具有判别性的帧级表征，在仅使用视频级监督的情况下，在两个基准数据集上实现了最先进性能。

ABSTRACT

Query-based video grounding is an important yet challenging task in video understanding, which aims to localize the target segment in an untrimmed video according to a sentence query. Most previous works achieve significant progress by addressing this task in a fully-supervised manner with segment-level labels, which require high labeling cost. Although some recent efforts develop weakly-supervised methods that only need the video-level knowledge, they generally match multiple pre-defined segment proposals with query and select the best one, which lacks fine-grained frame-level details for distinguishing frames with high repeatability and similarity within the entire video. To alleviate the above limitations, we propose a self-contrastive learning framework to address the query-based video grounding task under a weakly-supervised setting. Firstly, instead of utilizing redundant segment proposals, we propose a new grounding scheme that learns frame-wise matching scores referring to the query semantic to predict the possible foreground frames by only using the video-level annotations. Secondly, since some predicted frames (i.e., boundary frames) are relatively coarse and exhibit similar appearance to their adjacent frames, we propose a coarse-to-fine contrastive learning paradigm to learn more discriminative frame-wise representations for distinguishing the false positive frames. In particular, we iteratively explore multi-scale hard negative samples that are close to positive samples in the representation space for distinguishing fine-grained frame-wise details, thus enforcing more accurate segment grounding. Extensive experiments on two challenging benchmarks demonstrate the superiority of our proposed method compared with the state-of-the-art methods.

研究动机与目标

• 通过仅利用视频级监督，解决全监督查询式视频定位中高标注成本的问题。
• 克服先前弱监督方法依赖冗余且预定义的片段提议、帧级判别能力差的局限性。
• 提升细粒度的帧级表征学习能力，以区分靠近真实边界附近的困难负样本帧。
• 提出一种从粗到精的对比学习策略，逐步在局部帧和全局片段尺度上挖掘越来越困难的负样本。

提出的方法

• 提出使用注意力机制进行帧级匹配分数预测，以估计每帧的前景可能性，从而替代对片段提议的依赖。
• 引入一种多尺度自对比学习范式，基于预测分数动态定义正样本和负样本。
• 实施一种从粗到精的迭代困难负样本挖掘策略，其中采样范围逐步更新，以聚焦于越来越相似的负样本帧。
• 在局部帧尺度和非局部片段尺度上探索困难负样本，以学习多尺度内在特征。
• 使用可学习超参数（λ_fra 和 λ_seg）平衡帧级和片段级损失，以优化定位准确率。
• 使用可学习阈值将连续高分帧分组为最终预测的片段。

实验结果

研究问题

• RQ1 帧级匹配分数预测能否在弱监督视频定位中替代冗余的片段提议？
• RQ2 在缺乏帧级标注的情况下，结合迭代困难负样本挖掘的自对比学习如何提升帧级表征的判别能力？
• RQ3 多尺度（帧级与片段级）困难负样本采样对区分相似前景与背景帧的影响是什么？
• RQ4 与单步负样本采样相比，逐步挖掘越来越困难的负样本如何影响定位性能？
• RQ5 在训练目标中，帧级与片段级损失分量的最优平衡是什么？

主要发现

• 所提出的MSCL框架在弱监督设置下，于Charades-STA和ActivityNet-Caption两个基准上均实现了最先进性能。
• 该模型优于先前方法如SCN和VGN+CCL，尤其在准确定位片段边界方面表现更优，归因于对困难负样本帧的判别能力提升。
• 最优超参数设置为λ_fra = 10 和 λ_seg = 5，表明平衡帧级与片段级监督对性能至关重要。
• 模型在批量大小为16时达到峰值性能，且对批量大小变化具有鲁棒性，这与先前对比学习方法依赖大批次的特性不同。
• 可视化结果表明，迭代困难负样本挖掘过程逐步选择靠近真实片段的样本，证实了动态采样策略的有效性。
• 帧级分数曲线显示，模型在正确片段上预测的分数高于上界$ b_u $，验证了准确的片段定位能力。