[论文解读] Object-aware Aggregation with Bidirectional Temporal Graph for Video Captioning

Junchao Zhang, Yuxin Peng|arXiv (Cornell University)|Jun 11, 2019

Multimodal Machine Learning Applications参考文献 35被引用 10

一句话总结

该论文提出OA-BTG，一种视频字幕模型，通过双向时间图捕捉显著对象的详细时间动态，并利用可学习VLAD进行物体感知聚合，以学习具有区分性的时空表征。该方法在MSVD和MSR-VTT数据集上实现了最先进性能，通过利用物体特定的时间轨迹和层次注意力机制，在BLEU@4、METEOR和CIDEr指标上优于先前方法。

ABSTRACT

Video captioning aims to automatically generate natural language descriptions of video content, which has drawn a lot of attention recent years. Generating accurate and fine-grained captions needs to not only understand the global content of video, but also capture the detailed object information. Meanwhile, video representations have great impact on the quality of generated captions. Thus, it is important for video captioning to capture salient objects with their detailed temporal dynamics, and represent them using discriminative spatio-temporal representations. In this paper, we propose a new video captioning approach based on object-aware aggregation with bidirectional temporal graph (OA-BTG), which captures detailed temporal dynamics for salient objects in video, and learns discriminative spatio-temporal representations by performing object-aware local feature aggregation on detected object regions. The main novelties and advantages are: (1) Bidirectional temporal graph: A bidirectional temporal graph is constructed along and reversely along the temporal order, which provides complementary ways to capture the temporal trajectories for each salient object. (2) Object-aware aggregation: Learnable VLAD (Vector of Locally Aggregated Descriptors) models are constructed on object temporal trajectories and global frame sequence, which performs object-aware aggregation to learn discriminative representations. A hierarchical attention mechanism is also developed to distinguish different contributions of multiple objects. Experiments on two widely-used datasets demonstrate our OA-BTG achieves state-of-the-art performance in terms of BLEU@4, METEOR and CIDEr metrics.

研究动机与目标

• 通过捕捉显著对象的详细时间动态，提升视频字幕生成的准确性和细粒度描述能力。
• 通过学习物体感知的时空表征，克服全局特征提取的局限性，保留细粒度的空间与时间细节。
• 通过整合双向时间建模与物体特定特征聚合，增强判别性视频表征学习。
• 利用层次注意力机制，区分复杂场景中多个物体的贡献。
• 通过统一框架结合物体感知聚合与双向时间图学习，实现视频字幕生成的最先进性能。

提出的方法

• 通过沿视频时间顺序构建前向与后向图，构建双向时间图，以捕捉每个显著对象的互补时间轨迹。
• 在物体级时间轨迹与全局帧序列上应用可学习VLAD（局部聚集描述符向量），实现物体感知的局部特征聚合。
• 引入层次注意力机制，在表征学习过程中动态加权不同物体实例的贡献。
• 采用双流架构：一路处理物体特定特征，一路处理全局帧特征，两者均通过双向时间图与基于VLAD的聚合进行处理。
• 使用序列到序列解码器结合注意力机制，基于学习到的判别性时空表征生成自然语言字幕。
• 采用端到端训练，使用交叉熵损失进行字幕生成，联合优化特征学习与字幕生成性能。

实验结果

研究问题

• RQ1 双向时间图建模是否能提升视频字幕中显著对象的细粒度时间动态捕捉能力？
• RQ2 与全局特征池化相比，使用可学习VLAD的物体感知特征聚合在判别性时空表征学习方面有何提升？
• RQ3 层次注意力在区分多个物体贡献方面，对字幕生成性能的提升程度如何？
• RQ4 将双向时间图与物体感知聚合相结合，是否能在标准视频字幕基准上实现最先进性能？
• RQ5 该模型在捕捉复杂交互或空间关系（如“在沙发上”）方面存在哪些定性与定量局限？

主要发现

• OA-BTG在MSVD与MSR-VTT数据集上均实现最先进性能，相较于单向基线模型，BLEU@4、METEOR与CIDEr指标分别提升3.25%、1.15%与5.45%。
• 仅使用后向时间图，MSR-VTT上的BLEU@4提升1.2%，METEOR提升1.0%，CIDEr提升3.0%，证明反向时间建模具有显著价值。
• 即使在单向时间图基础上使用物体感知聚合，性能仍优于全局基线，在MSVD上BLEU@4提升0.6%，METEOR提升1.3%，CIDEr提升1.7%。
• 消融实验确认，双向时间图与物体感知聚合均不可或缺，二者结合可带来最高性能增益。
• 定性结果表明，OA-BTG通过建模物体轨迹，能生成更准确、更细粒度的描述（如“切面包片”而非“烹饪”）。
• 失败案例显示，模型在捕捉空间关系（如“在沙发上”）或动作（如“追逐”）方面仍存在挑战，表明其在建模物体交互与长距离依赖方面存在局限。