[论文解读] Text with Knowledge Graph Augmented Transformer for Video Captioning

Xin Gu, Guang Chen+4 more|arXiv (Cornell University)|Mar 22, 2023

Multimodal Machine Learning Applications被引用 6

一句话总结

本文提出 TextKG，一种用于视频字幕生成的双流Transformer模型，通过将预构建知识图谱中的外部知识与多模态视频特征（视觉、语音、文本）相结合，以解决长尾词汇问题。通过在外部流（知识感知流）与内部流（多模态特征提取器）之间引入交叉注意力机制，TextKG 提升了字幕质量，在 YouCookII 数据集上相比最先进方法实现了 18.7% 的 CIDEr 绝对提升。

ABSTRACT

Video captioning aims to describe the content of videos using natural language. Although significant progress has been made, there is still much room to improve the performance for real-world applications, mainly due to the long-tail words challenge. In this paper, we propose a text with knowledge graph augmented transformer (TextKG) for video captioning. Notably, TextKG is a two-stream transformer, formed by the external stream and internal stream. The external stream is designed to absorb additional knowledge, which models the interactions between the additional knowledge, e.g., pre-built knowledge graph, and the built-in information of videos, e.g., the salient object regions, speech transcripts, and video captions, to mitigate the long-tail words challenge. Meanwhile, the internal stream is designed to exploit the multi-modality information in videos (e.g., the appearance of video frames, speech transcripts, and video captions) to ensure the quality of caption results. In addition, the cross attention mechanism is also used in between the two streams for sharing information. In this way, the two streams can help each other for more accurate results. Extensive experiments conducted on four challenging video captioning datasets, i.e., YouCookII, ActivityNet Captions, MSRVTT, and MSVD, demonstrate that the proposed method performs favorably against the state-of-the-art methods. Specifically, the proposed TextKG method outperforms the best published results by improving 18.7% absolute CIDEr scores on the YouCookII dataset.

研究动机与目标

• 为解决视频字幕生成中的长尾词汇问题，即罕见或未见的物体、属性或动作预测效果差。
• 通过将预构建知识图谱中的外部知识整合到字幕生成过程中，提升字幕质量。
• 设计一种双流Transformer架构，协同融合多模态视频特征与知识图谱信息。
• 在多样且具有挑战性的视频字幕基准上评估该方法，以证明其鲁棒性与最先进性能。

提出的方法

• TextKG 采用双流Transformer架构：内部流处理多模态输入（视频帧、语音转录文本、字幕），外部流则建模检测到的关键对象与知识图谱实体之间的交互关系。
• 基于视频帧中检测到的关键对象检索知识图谱实体，并将其特征与视觉、语音及字幕特征融合，用于外部流。
• 在内部流与外部流之间应用交叉注意力机制，实现双向信息共享，提升特征表示能力。
• 引入知识选择机制，过滤噪声或无关知识，提升模型鲁棒性与性能。
• 模型在四个基准数据集（YouCookII、ActivityNet Captions、MSR-VTT 和 MSVD）上端到端训练，采用标准字幕生成损失函数。
• 该方法同时使用通用知识图谱与特定知识图谱——通用图谱提供广泛的语义关系，特定图谱则提供详细的实体特定事实。

实验结果

研究问题

• RQ1 将知识图谱中的外部知识整合到视频字幕生成中，是否能显著缓解长尾词汇问题？
• RQ2 将多模态视频特征（视觉、语音、文本）与知识图谱信息融合，是否能有效提升字幕质量？
• RQ3 在预测罕见或未见短语时，语音转录文本与知识图谱信息的相对贡献如何？
• RQ4 语音转录文本的质量如何影响知识增强型视频字幕模型的性能？
• RQ5 知识选择机制是否通过过滤噪声或无关知识，提升模型鲁棒性？

主要发现

• 在 YouCookII 数据集的段落级评估中，TextKG 相比最佳已发表结果，CIDEr 分数实现了 18.7% 的绝对提升。
• 在结合视频与区域特征的基础上，引入知识图谱信息使性能提升 4.6 个 CIDEr 点（从 71.3 提升至 75.9）。
• 即使不使用语音转录文本，知识图谱的引入仍使性能提升 3.9 个 CIDEr 点（从 45.9 提升至 49.8），表明其在缓解长尾问题中的关键作用。
• 知识选择机制至关重要——若移除该机制，CIDEr 分数将下降 3.9 点，表明噪声知识会损害模型性能。
• 同时使用通用与特定知识图谱的方法，在所有语音转录质量水平下均优于基线模型，其中通用图谱在应对转录噪声方面表现出更强的鲁棒性。
• 定性分析显示，TextKG 成功生成如 'sesame oil' 和 'black pepper' 等长尾短语，得益于知识图谱中的关系信息，而标准模型则无法捕捉此类表达。