[论文解读] Negative Sample Matters: A Renaissance of Metric Learning for Temporal Grounding

Zhenzhi Wang, Limin Wang+3 more|arXiv (Cornell University)|Sep 10, 2021

Multimodal Machine Learning Applications被引用 14

一句话总结

本文提出互匹配网络（MMN），一种用于时序定位的度量学习框架，通过在跨模态联合嵌入空间中进行交叉模态互匹配，利用视频内和视频间负样本，增强表示学习。通过直接在联合嵌入空间中建模相似性，并采用带有对比损失和IoU监督的双分支孪生网络结构，MMN在四个基准数据集上取得最先进性能，包括在HC-STVG挑战赛中获得第一名。

ABSTRACT

Temporal grounding aims to localize a video moment which is semantically aligned with a given natural language query. Existing methods typically apply a detection or regression pipeline on the fused representation with the research focus on designing complicated prediction heads or fusion strategies. Instead, from a perspective on temporal grounding as a metric-learning problem, we present a Mutual Matching Network (MMN), to directly model the similarity between language queries and video moments in a joint embedding space. This new metric-learning framework enables fully exploiting negative samples from two new aspects: constructing negative cross-modal pairs in a mutual matching scheme and mining negative pairs across different videos. These new negative samples could enhance the joint representation learning of two modalities via cross-modal mutual matching to maximize their mutual information. Experiments show that our MMN achieves highly competitive performance compared with the state-of-the-art methods on four video grounding benchmarks. Based on MMN, we present a winner solution for the HC-STVG challenge of the 3rd PIC workshop. This suggests that metric learning is still a promising method for temporal grounding via capturing the essential cross-modal correlation in a joint embedding space. Code is available at https://github.com/MCG-NJU/MMN.

研究动机与目标

• 解决现有方法依赖检测/回归头且在时序定位中未充分利用负样本的局限性。
• 通过将语言查询和视频时刻视为对称的，联合嵌入到共享空间中，改善跨模态表示学习。
• 探索除视频内配对外的负样本有效性，包括视频间负样本以及未匹配对之间的互匹配。
• 证明精心设计的对比损失和回归监督的度量学习框架可超越复杂的检测架构。

提出的方法

• 提出一种类似孪生网络的架构，使同一视频内查询共享时刻特征，降低计算成本。
• 引入一种互匹配目标，将正确查询与未匹配查询（视频内和视频间）进行对比，以提升特征判别能力。
• 采用基于跨模态互匹配的配对判别损失，以最大化匹配查询-时刻对之间的互信息。
• 引入基于vIoU作为真实标签的IoU回归分支，通过连续监督优化时序预测。
• 在联合嵌入空间中使用点积相似度实现高效的跨模态匹配。
• 通过将候选时序管视为特征序列，并利用vIoU指导选择与优化，将框架适配至时空定位（STVG）。

实验结果

研究问题

• RQ1 在语言查询与视频时刻之间进行互匹配——尤其是使用未匹配负样本——是否能改善时序定位中的表示学习？
• RQ2 与仅使用视频内负样本相比，利用视频间负样本对是否能提升模型泛化能力和性能？
• RQ3 一个简单的度量学习框架，结合对比损失和回归监督，是否能超越复杂的检测基或Transformer基模型？
• RQ4 在低资源设置下，例如标注有限的HC-STVG数据集，MMN框架的有效性如何？
• RQ5 在双模态对称监督下进行联合嵌入学习，在零样本或少样本迁移中能提升多少性能？

主要发现

• MMN在四个主要时序定位基准数据集上均取得最先进性能：Charades-STA、TACoS、ActivityNet-Captions和HC-STVG。
• 在HC-STVG基准上，MMN取得30.32 m_vIoU和25.56 vIoU@0.5，优于强基线模型STVGBert（20.42 m_vIoU）和2D-TAN+WSSTG（15.43 m_vIoU）。
• 在第三届PIC研讨会HC-STVG挑战赛中，MMN排名第一，优于使用大规模多模态预训练的模型（如LXMERT、MDETR）。
• 互匹配和视频间负样本带来的性能提升显著，相较于使用相同候选时序管的2D-TAN，相对提升达10%。
• 融合配对判别损失与IoU回归分支使性能提升约0.5%，表明二元监督与连续监督具有互补优势。
• t-SNE可视化结果表明，联合嵌入空间能有效捕捉语义相似性，匹配对与未匹配对的聚类清晰分离。