[论文解读] Temporal Sentence Grounding in Videos: A Survey and Future Directions

Hao Zhang, Aixin Sun+2 more|arXiv (Cornell University)|Jan 20, 2022

Multimodal Machine Learning Applications被引用 9

一句话总结

本综述全面概述了视频中的时序句子定位（TSGV），涵盖基础概念、当前技术及未来研究方向。系统性地回顾了多模态理解与交互方法，将现有方法组织为分类体系，并识别出跨模态视频检索与视频理解中的关键挑战及有前景的研究方向。

ABSTRACT

Temporal sentence grounding in videos (TSGV), \aka natural language video localization (NLVL) or video moment retrieval (VMR), aims to retrieve a temporal moment that semantically corresponds to a language query from an untrimmed video. Connecting computer vision and natural language, TSGV has drawn significant attention from researchers in both communities. This survey attempts to provide a summary of fundamental concepts in TSGV and current research status, as well as future research directions. As the background, we present a common structure of functional components in TSGV, in a tutorial style: from feature extraction from raw video and language query, to answer prediction of the target moment. Then we review the techniques for multimodal understanding and interaction, which is the key focus of TSGV for effective alignment between the two modalities. We construct a taxonomy of TSGV techniques and elaborate the methods in different categories with their strengths and weaknesses. Lastly, we discuss issues with the current TSGV research and share our insights about promising research directions.

研究动机与目标

• 提供对时序句子定位在视频中（TSGV）作为基础视觉-语言任务的系统性综述。
• 分析TSGV方法从两阶段和基于提议的方法演进至无提议、强化学习驱动及弱监督技术的过程。
• 基于架构与公式构建TSGV技术的分类体系，突出各类方法的优势与局限性。
• 识别当前TSGV研究中的关键挑战，包括泛化能力、评估偏差，以及多模态查询缺乏统一框架的问题。
• 探讨未来研究方向，如视频语料时刻检索（VCMR）、多语言泛化，以及音频与其他模态的整合。

提出的方法

• 综述采用教程式结构，从原始视频和自然语言查询的特征提取开始。
• 回顾用于对齐视频与语言表征的多模态交互技术，重点关注交叉注意力、后期交互和联合嵌入学习。
• 基于方法论类别构建分类体系：基于提议、无提议、强化学习驱动及弱监督方法。
• 分析音频、字幕及多模态查询在提升对齐与定位精度方面的作用。
• 讨论视频语料时刻检索（VCMR）作为TSGV的延伸，要求在大规模视频集合中实现高效的视频检索与时刻定位。
• 评估现有基准如DiDeMo、Charades-STA、ActivityNet Captions、TVR和mTVR，讨论其局限性及在实际部署中的适用性。

实验结果

研究问题

• RQ1 TSGV方法如何从早期的两阶段方法演进为现代的端到端模型？
• RQ2 基于提议与无提议TSGV方法之间的关键差异与权衡是什么？
• RQ3 当前模型在不同领域、语言和视频分布之间的泛化能力如何？
• RQ4 如何有效整合音频及其他模态以提升时序定位性能？
• RQ5 TSGV在大规模视频语料（VCMR）中扩展的主要挑战是什么，以及如何应对？

主要发现

• TSGV已从依赖候选采样的两阶段方法演进为利用深度多模态交互的更高效、更准确的端到端模型。
• 无提议方法在降低计算成本的同时，于基准数据集上保持了具有竞争力的性能，展现出良好前景。
• 对比学习与基于层次Transformer的模型显著提升了视频-语言对齐的效率与准确性，尤其在VCMR设置中表现突出。
• 多语言扩展如mTVR表明跨语言泛化是可行的，但依然面临挑战，不同语言间存在性能差距。
• 音频信号与ASR转录的字幕可提升定位精度，如Chen等人[99]的研究所示，在标准基准上报告了性能提升。
• 尽管已有进展，当前模型常对基准数据过拟合，且由于分布偏移及缺乏多样化、大规模训练数据，实际性能仍受限。