[论文解读] Weak Supervision and Referring Attention for Temporal-Textual Association Learning

Zhiyuan Fang, Shu Kong+3 more|ArXiv.org|Jun 21, 2020

Multimodal Machine Learning Applications参考文献 62被引用 15

一句话总结

该论文提出WSRA，一种弱监督框架，结合引用注意力机制，用于视频中的时序-文本关联，仅使用视频级别的自然语言描述作为监督信号。通过利用视频内部片段线索、困难负样本挖掘以及跨视频视觉相似性，WSRA在时刻检索和语言定位任务上达到最先进性能，在DiDeMo和Charades-STA等基准上，召回率相比先前弱监督方法最高提升18%，并达到全监督模型的性能水平。

ABSTRACT

A system capturing the association between video frames and textual queries offer great potential for better video analysis. However, training such a system in a fully supervised way inevitably demands a meticulously curated video dataset with temporal-textual annotations. Therefore we provide a Weak-Supervised alternative with our proposed Referring Attention mechanism to learn temporal-textual association (dubbed WSRA). The weak supervision is simply a textual expression (e.g., short phrases or sentences) at video level, indicating this video contains relevant frames. The referring attention is our designed mechanism acting as a scoring function for grounding the given queries over frames temporally. It consists of multiple novel losses and sampling strategies for better training. The principle in our designed mechanism is to fully exploit 1) the weak supervision by considering informative and discriminative cues from intra-video segments anchored with the textual query, 2) multiple queries compared to the single video, and 3) cross-video visual similarities. We validate our WSRA through extensive experiments for temporally grounding by languages, demonstrating that it outperforms the state-of-the-art weakly-supervised methods notably.

研究动机与目标

• 为解决在缺乏帧级标注（昂贵且稀缺）的情况下学习视频中时序-文本关联的挑战。
• 开发一种弱监督学习框架，有效利用视频级别的自然语言描述作为监督信号。
• 通过利用视频内部片段中的信息性线索、多查询模式以及跨视频视觉相似性，提升定位性能。
• 设计一种新型注意力机制，结合对比学习与困难负样本采样，动态将查询定位到相关视频片段。
• 在标准基准（DiDeMo、Charades-STA）上验证该框架，并证明其在性能上优于现有弱监督与全监督方法。

提出的方法

• 引用注意力机制通过背景建模识别并抑制与查询无关的帧，从而增强对相关片段的关注。
• 对比学习组件用于区分前景特征（与查询相关）与背景特征（无关），提升特征判别能力。
• 集成困难负样本挖掘，在训练过程中采样无关的文本描述，增强模型对模糊或噪声监督的鲁棒性。
• 跨视频视觉相似性损失用于对齐语义相似的文本查询所对应的来自不同视频的视觉特征，提升泛化能力。
• 采用Top/Last-K采样策略，过滤对比学习中的伪正样本与低信息量样本，提升训练稳定性和性能。
• 框架使用来自Kinetics预训练模型的I3D特征，并在推理阶段应用滑动窗口采样生成时刻候选。

实验结果

研究问题

• RQ1 仅使用视频级别的自然语言描述，弱监督模型能否在时序定位任务中实现优异性能？
• RQ2 如何利用视频内部片段线索与跨视频语义相似性来提升弱监督学习在时序-文本关联任务中的表现？
• RQ3 对文本描述进行困难负样本挖掘在弱监督设定下对模型泛化能力的提升作用如何？
• RQ4 所提出的引用注意力机制与现有对比学习方法相比，在特征判别能力与定位精度方面表现如何？
• RQ5 弱监督模型在时刻检索与语言定位任务中，能在多大程度上匹配或超越全监督方法？

主要发现

• 在DiDeMo数据集上，WSRA在R@1和R@5指标上分别比最先进弱监督方法TGA提升5.5%和11%。
• 在Charades-STA数据集上，WSRA在IoU阈值为0.3时R@1指标上较TGA提升18%，在IoU为0.5时提升12%。
• 尽管仅使用弱监督，WSRA的性能可与多种全监督模型（包括CCA和LSTM-based方法）相媲美。
• 消融实验证实，引用注意力机制的每个组件——背景建模、对比学习与跨视频相似性——均对性能提升有显著贡献。
• Top/Last-K采样策略能有效过滤噪声伪正样本，提升训练稳定性与最终准确率。
• 在Charades-STA上的定性结果表明，WSRA能成功定位复杂、自由形式的查询，即使在长视频中也表现出对语言变体的鲁棒性。