[论文解读] Progressive Localization Networks for Language-based Moment Localization

Qi Zheng, Jianfeng Dong+6 more|arXiv (Cornell University)|Feb 2, 2021

Human Pose and Action Recognition参考文献 52被引用 12

一句话总结

本文提出渐进式定位网络（PLN），一种用于基于语言的视频瞬间定位的多阶段、粗到细框架，通过在各阶段利用不同时间粒度的视频片段逐步细化定位。通过整合条件特征操作模块和上采样连接，PLN提升了定位精度，尤其在短时瞬间方面表现优异，在三个基准数据集上达到最先进性能。

ABSTRACT

This paper targets the task of language-based video moment localization. The language-based setting of this task allows for an open set of target activities, resulting in a large variation of the temporal lengths of video moments. Most existing methods prefer to first sample sufficient candidate moments with various temporal lengths, and then match them with the given query to determine the target moment. However, candidate moments generated with a fixed temporal granularity may be suboptimal to handle the large variation in moment lengths. To this end, we propose a novel multi-stage Progressive Localization Network (PLN) which progressively localizes the target moment in a coarse-to-fine manner. Specifically, each stage of PLN has a localization branch, and focuses on candidate moments that are generated with a specific temporal granularity. The temporal granularities of candidate moments are different across the stages. Moreover, we devise a conditional feature manipulation module and an upsampling connection to bridge the multiple localization branches. In this fashion, the later stages are able to absorb the previously learned information, thus facilitating the more fine-grained localization. Extensive experiments on three public datasets demonstrate the effectiveness of our proposed PLN for language-based moment localization, especially for localizing short moments in long videos.

研究动机与目标

• 解决在基于语言的视频瞬间定位中，视频瞬间具有高度可变的时间长度的挑战。
• 克服固定时间粒度候选采样方法的局限性，该方法在短或长瞬间上表现受限。
• 设计一种多阶段架构，从粗粒度到细粒度逐步优化定位。
• 提升在长视频中短时瞬间的定位性能，这一领域常被先前的一阶段模型所忽视。
• 证明层次化特征学习与跨阶段信息流在多阶段定位中的有效性。

提出的方法

• 提出一种多阶段渐进式定位网络（PLN），在各阶段处理时间粒度逐步细化的视频片段。
• PLN的每一阶段均包含一个定位分支，基于其特定的时间粒度生成并匹配候选瞬间。
• 引入条件特征操作（CFM）模块，在将特征输入到后续阶段前，自适应地优化早期阶段的特征。
• 实现上采样连接，将早期（粗粒度）阶段的高层特征传递到后期（细粒度）阶段，实现逐步优化。
• 在每个阶段使用语言查询与候选瞬间之间的跨模态相似度匹配来指导定位。
• 使用多阶段损失端到端训练整个网络，以在每个粒度层级上鼓励精确的定位。

实验结果

研究问题

• RQ1 与单阶段方法相比，粗到细的多阶段方法是否能在不同长度的瞬间上提升定位性能？
• RQ2 通过不同时间粒度的渐进式细化，如何影响对短时和长时视频瞬间的定位？
• RQ3 条件特征操作（CFM）和上采样连接在提升跨阶段特征迁移方面有何贡献？
• RQ4 所提出的PLN架构是否优于现有最先进模型，尤其是在长视频中的短时瞬间上？
• RQ5 与固定粒度采样相比，粗到细设计在多大程度上减少了冗余并改善了优化？

主要发现

• PLN在三个公开基准数据集（Charades-STA、TACoS 和 ActivityNet Captions）上达到最先进性能，Rank@1, IoU=0.5 分数分别为 45.43%、31.12% 和 45.66%。
• 在 TACoS 上，PLN 相较于 2D-TAN 在最短瞬间组上实现了 48.5% 的相对性能提升，证明其在处理短时瞬间方面具有显著优势。
• 消融实验表明，若移除条件特征操作（CFM）或上采样连接（UC），性能均会下降，证实了二者有效性。
• 采用变化粒度的粗到细策略优于所有阶段使用统一粒度的模型，验证了该设计选择的合理性。
• 在 TACoS 上，PLN 在 IoU=0.3 时达到 29.70% 的 mIoU，显著优于基线模型，尤其在低 IoU 范围内表现突出。
• 该模型在所有瞬间长度组中均表现出一致的性能提升，其中在 TACoS 的最短瞬间组中相对提升最大（48.5%）