[论文解读] You Need to Read Again: Multi-granularity Perception Network for Moment Retrieval in Videos

Xin Sun, Xuan Wang+3 more|arXiv (Cornell University)|May 25, 2022

Multimodal Machine Learning Applications被引用 4

一句话总结

本文提出多粒度感知网络（MGPN），一种新颖的视频时序定位框架，通过模拟人类阅读策略，实现对视频与语言特征的粗粒度到细粒度的感知。通过整合粗粒度编码器与细粒度特征编码器及条件交互模块，MGPN在Charades-STA、TACoS和ActivityNet Captions数据集上提升了对齐精度，相较于先前的最先进方法，在计算成本更低的前提下实现了更优性能，得益于轻量级选择比较模块的设计。

ABSTRACT

Moment retrieval in videos is a challenging task that aims to retrieve the most relevant video moment in an untrimmed video given a sentence description. Previous methods tend to perform self-modal learning and cross-modal interaction in a coarse manner, which neglect fine-grained clues contained in video content, query context, and their alignment. To this end, we propose a novel Multi-Granularity Perception Network (MGPN) that perceives intra-modality and inter-modality information at a multi-granularity level. Specifically, we formulate moment retrieval as a multi-choice reading comprehension task and integrate human reading strategies into our framework. A coarse-grained feature encoder and a co-attention mechanism are utilized to obtain a preliminary perception of intra-modality and inter-modality information. Then a fine-grained feature encoder and a conditioned interaction module are introduced to enhance the initial perception inspired by how humans address reading comprehension problems. Moreover, to alleviate the huge computation burden of some existing methods, we further design an efficient choice comparison module and reduce the hidden size with imperceptible quality loss. Extensive experiments on Charades-STA, TACoS, and ActivityNet Captions datasets demonstrate that our solution outperforms existing state-of-the-art methods. Codes are available at github.com/Huntersxsx/MGPN.

研究动机与目标

• 解决现有两阶段时序定位模型在粗粒度模态内与模态间感知方面的局限性，忽视细粒度语义细节的问题。
• 通过将时序定位建模为多选阅读理解任务，受人类重读与深度推理策略启发，提升对齐精度。
• 通过设计轻量级选择比较模块并优化隐藏层大小，降低计算开销而不损失性能。
• 实现细粒度感知模块的即插即用集成，提升现有两阶段模型的适用性。

提出的方法

• 将时序定位建模为多选阅读理解任务，模拟人类重读与增强对齐等策略。
• 采用粗粒度特征编码器与交叉注意力机制，捕获初始的模态内与模态间表示。
• 引入细粒度特征编码器与条件交互模块，通过深度推理细化表示，模拟重读过程。
• 设计高效的轻量级选择比较模块，在极小性能损失下减小隐藏层大小，提升推理效率。
• 在细粒度感知阶段引入多模态交叉注意力模块，提升视频-查询对齐效果。
• 在细粒度编码器中采用堆叠卷积块架构，相比非局部或标准卷积块，实现更优性能与更小模型尺寸。

实验结果

研究问题

• RQ1 将时序定位建模为多选阅读理解任务，通过模拟人类重读行为，能否提升对齐精度？
• RQ2 多粒度感知——即对模态内与模态间特征进行由粗到细的处理——是否能在时序定位基准上带来更好的性能？
• RQ3 轻量级选择比较模块能否在不降低性能的前提下减小模型尺寸与推理成本？
• RQ4 当作为即插即用模块应用时，细粒度自模态编码与跨模态对齐在多大程度上能提升现有两阶段模型的性能？

主要发现

• MGPN在Charades-STA、TACoS与ActivityNet Captions上均达到最先进性能，ActivityNet Captions上的R@1,0.5达到47.92%。
• MGPN 256变体仅使用256个隐藏单元即实现卓越性能，相比2D-TAN模型参数量减少4.8倍，且性能提升6.4%。
• 即插即用实验表明，将细粒度感知模块加入2D-TAN与RaNet后，R@1,0.5分别提升5.77%与0.87%，验证了其泛化能力与有效性。
• 实验结果确认，隐藏层大小为256时在性能与效率之间达到最佳平衡，更大尺寸（如512）仅带来边际增益，但计算成本呈指数级增长。
• 定性结果表明，细粒度感知模块显著提升了在视觉相似时刻上的检索精度，尤其在ActivityNet Captions与TACoS数据集上表现明显。
• 所提出的多模态交叉注意力模块显著增强了跨模态对齐能力，尤其对“左手”等细微线索的捕捉效果更优，而这些线索在粗粒度模型中常被忽略。