[论文解读] Parallel Attention Network with Sequence Matching for Video Grounding

Hao Zhang, Aixin Sun+4 more|arXiv (Cornell University)|May 18, 2021

Multimodal Machine Learning Applications参考文献 68被引用 4

一句话总结

该论文提出SeqPAN，一种无需提议框的视频定位模型，通过自引导并行注意力模块联合建模模态内与模态间表征，并采用序列匹配策略通过将视频片段标记为开始、内部和结束区域来预测起止边界。SeqPAN在三个基准测试上达到最先进性能，通过改进多模态建模与边界预测，展现出更优的定位精度。

ABSTRACT

Given a video, video grounding aims to retrieve a temporal moment that semantically corresponds to a language query. In this work, we propose a Parallel Attention Network with Sequence matching (SeqPAN) to address the challenges in this task: multi-modal representation learning, and target moment boundary prediction. We design a self-guided parallel attention module to effectively capture self-modal contexts and cross-modal attentive information between video and text. Inspired by sequence labeling tasks in natural language processing, we split the ground truth moment into begin, inside, and end regions. We then propose a sequence matching strategy to guide start/end boundary predictions using region labels. Experimental results on three datasets show that SeqPAN is superior to state-of-the-art methods. Furthermore, the effectiveness of the self-guided parallel attention module and the sequence matching module is verified.

研究动机与目标

• 解决在长视频中目标时刻短且稀疏分布的精确时序片段定位挑战。
• 克服现有方法依赖提议生成或缺乏对视频帧序列结构化建模的局限性。
• 通过联合捕捉视频与文本模态的自模态与跨模态注意力，改进多模态表征学习。
• 通过建模视频帧的序列特性，将时刻定位视为序列标注任务，提升边界预测性能。
• 提出一种序列匹配策略，采用区域级标签（BIEO）与可学习标签嵌入，以指导边界定位。

提出的方法

• 提出一种自引导并行注意力（SGPA）模块，同时计算视频与文本模态内部的自注意力以及模态之间的交叉注意力。
• 引入带有自引导头的交叉门控机制，动态融合自模态与跨模态表征。
• 将真实时刻划分为三个区域：开始（B）、内部（I）与结束（E），另加一个外部（O）区域，形成BIEO标注方案。
• 使用可学习标签嵌入（$\bm{E}_{\text{lab}}$）表示每个区域，并引导模型识别潜在的边界区域。
• 在训练中应用带退火温度$\tau$的Gumbel-Softmax技巧，实现可微采样，支持端到端优化区域预测。
• 采用序列匹配目标进行模型训练，鼓励对视频帧进行正确的BIEO标注，从而提升定位精度。

实验结果

研究问题

• RQ1 联合建模自模态与跨模态注意力是否能提升视频定位中的多模态表征学习？
• RQ2 将边界预测视为基于BIEO区域的序列标注任务，是否比标准回归或二分类方法带来更精确的定位？
• RQ3 可学习标签嵌入与Gumbel-Softmax技巧在引导模型预测精确起止边界方面有多有效？
• RQ4 一种通过约束潜在边界区域的序列匹配策略，是否优于使用前景/背景或基于回归的监督基线方法？
• RQ5 Gumbel-Softmax在序列匹配模块中的最优退火温度$\tau$是多少？

主要发现

• SeqPAN在三个视频定位基准测试（Charades-STA、ANetCaps和ActivityNet）上达到最先进性能，所有指标均优于先前方法。
• 序列匹配（sq-match）策略显著提升定位精度，尤其在严格IoU阈值下（如IoU ≥ 0.5），相比基线方法保持一致优势。
• 自引导并行注意力（SGPA）模块提升了多模态表征学习能力，消融实验表明移除该模块后性能明显下降。
• 使用标签嵌入（$\bm{E}_{\text{lab}}$）与Gumbel-Softmax技巧（$\tau = 0.3$）可实现最优性能，超参数敏感性消融实验已验证。
• 采用sq-match的模型生成的边界预测更连贯且准确，如定性结果所示，预测标签（PSL）与真实区域高度对齐。
• 消融实验确认，序列匹配策略与SGPA模块均不可或缺，sq-match策略在所有评估设置下均优于基线fb-match策略。