[论文解读] Relational Reasoning using Prior Knowledge for Visual Captioning

Jingyi Hou, Xinxiao Wu+4 more|arXiv (Cornell University)|Jun 4, 2019

Multimodal Machine Learning Applications参考文献 33被引用 13

一句话总结

本文提出了一种用于视觉描述的联合推理框架，利用外部知识图谱实现常识性与关系推理，无需预训练的目标检测器。通过迭代构建先验知识的语义图并利用图卷积网络进行优化，该方法在 MS-COCO 和 MSVD 基准上取得了最先进性能，显著提升了语义连贯性，并有效处理遮挡或缺失物体的情况。

ABSTRACT

Exploiting relationships among objects has achieved remarkable progress in interpreting images or videos by natural language. Most existing methods resort to first detecting objects and their relationships, and then generating textual descriptions, which heavily depends on pre-trained detectors and leads to performance drop when facing problems of heavy occlusion, tiny-size objects and long-tail in object detection. In addition, the separate procedure of detecting and captioning results in semantic inconsistency between the pre-defined object/relation categories and the target lexical words. We exploit prior human commonsense knowledge for reasoning relationships between objects without any pre-trained detectors and reaching semantic coherency within one image or video in captioning. The prior knowledge (e.g., in the form of knowledge graph) provides commonsense semantic correlation and constraint between objects that are not explicit in the image and video, serving as useful guidance to build semantic graph for sentence generation. Particularly, we present a joint reasoning method that incorporates 1) commonsense reasoning for embedding image or video regions into semantic space to build semantic graph and 2) relational reasoning for encoding semantic graph to generate sentences. Extensive experiments on the MS-COCO image captioning benchmark and the MSVD video captioning benchmark validate the superiority of our method on leveraging prior commonsense knowledge to enhance relational reasoning for visual captioning.

研究动机与目标

• 解决依赖检测器的视觉描述方法在处理遮挡、微小或长尾物体时的局限性。
• 通过将生成的词汇项与现实世界中的物体-关系约束对齐，提升描述的语义连贯性。
• 在视觉线索模糊或缺失时，利用外部常识知识实现对物体间关系的推理。
• 消除对预训练检测器和场景图标注的依赖，以实现端到端训练。
• 开发一种联合推理框架，同时执行常识推理与关系推理，以提升描述生成质量。

提出的方法

• 该方法使用外部知识图谱（如 Visual Genome）作为先验知识，指导图像/视频区域的语义推理。
• 提出一种迭代联合推理算法，交替进行常识推理（将区域映射到语义空间）与关系推理（通过 GCN 编码语义图）。
• 常识推理利用知识图谱中的约束，将视觉区域选择并映射到高层语义概念，形成语义图。
• 关系推理通过图卷积网络（GCN）优化区域表示，生成连贯的文本描述。
• 该框架无需预训练的目标检测器或标注的场景图，仅依赖于字幕数据集的弱监督学习。
• 采用交替优化策略进行端到端训练，提升收敛性并避免过拟合。

实验结果

研究问题

• RQ1 当目标检测器因遮挡或物体尺寸过小而失效时，外部常识知识是否能提升视觉描述性能？
• RQ2 与基于检测器的方法相比，联合常识推理与关系推理在多大程度上提升了生成描述的语义连贯性？
• RQ3 基于知识图谱的推理系统在 MS-COCO 和 MSVD 等标准基准上，相较于依赖检测器的模型，能多大程度上实现性能超越？
• RQ4 消除对预训练检测器的依赖是否能提升在存在领域偏移的跨领域场景下的泛化能力？
• RQ5 各组件——常识推理与关系推理——对整体描述性能的贡献分别是什么？

主要发现

• 在 MS-COCO 基准上，所提方法取得 117.3 的 CIDEr 分数，优于先前最先进方法如 GCN-LSTM（117.1）和 KMSL（110.3）。
• 在 MSVD 视频描述基准上，该方法取得 89.6 的 CIDEr 分数，显著优于 SCN（77.7）、GRU-EVE（78.1）和 Up-Down（72.2）。
• 消融实验表明，移除常识推理会导致性能下降，B@4 降至 43.7，CIDEr 降至 70.5，表明其在概念选择与语义对齐中的关键作用。
• 移除关系推理（GCN 模块）后，B@4 降至 50.8，CIDEr 降至 85.4，证明图编码在表示优化中的必要性。
• 迭代交替算法在三轮迭代后收敛，CIDEr 与 B@4 分数先上升后下降，表明存在过拟合现象，验证了训练策略的有效性。
• 该方法在跨领域场景下泛化能力更强，即使在检测与字幕数据集之间存在领域差异时，仍优于基于检测器的模型如 GRU-EVE。