[论文解读] Seeing is Knowing! Fact-based Visual Question Answering using Knowledge Graph Embeddings

Kiran Ramnath, Mark Hasegawa‐Johnson|arXiv (Cornell University)|Dec 31, 2020

Multimodal Machine Learning Applications被引用 7

一句话总结

该论文提出 Seeing is Knowing (SiK)，一种新颖的事实驱动视觉问答框架，利用知识图谱 (KG) 嵌入来推理不完整的 KG，即使缺少必要事实也能实现准确的答案预测。通过引入 'Image-as-Knowledge' 表示方法和协同注意力机制，SiK 实现了 O(m) 的推理复杂度——显著快于当前 SOTA 方法的 O(N log N)——同时在缺失边推理任务中比 SOTA 模型高出 26% 的绝对性能。

ABSTRACT

Fact-based Visual Question Answering (FVQA), a challenging variant of VQA, requires a QA-system to include facts from a diverse knowledge graph (KG) in its reasoning process to produce an answer. Large KGs, especially common-sense KGs, are known to be incomplete, i.e., not all non-existent facts are always incorrect. Therefore, being able to reason over incomplete KGs for QA is a critical requirement in real-world applications that has not been addressed extensively in the literature. We develop a novel QA architecture that allows us to reason over incomplete KGs, something current FVQA state-of-the-art (SOTA) approaches lack due to their critical reliance on fact retrieval. We use KG Embeddings, a technique widely used for KG completion, for the downstream task of FVQA. We also employ a new image representation technique we call 'Image-as-Knowledge' to enable this capability, alongside a simple one-step CoAttention mechanism to attend to text and image during QA. Our FVQA architecture is faster during inference time, being O(m), as opposed to existing FVQA SOTA methods which are O(N log N), where m = number of vertices, N = number of edges = O(m^2). KG embeddings are shown to hold complementary information to word embeddings: a combination of both metrics permits performance comparable to SOTA methods in the standard answer retrieval task, and significantly better (26% absolute) in the proposed missing-edge reasoning task.

研究动机与目标

• 解决事实驱动视觉问答 (FVQA) 中的关键缺口：当所需事实在不完整的知识图谱中缺失时，现有方法会失效。
• 开发一种鲁棒的 FVQA 架构，利用知识图谱嵌入在不完整 KG 上进行推理，克服对完美事实检索的依赖。
• 提出 'Image-as-Knowledge'，将视觉输入表示为 KG 嵌入向量的跨度，以改善多模态对齐。
• 设计协同注意力机制，在答案预测过程中联合关注文本查询和视觉实体。
• 通过将复杂度从 O(N log N) 降低至 O(m) 实现更快的推理，其中 m 是 KG 中的顶点数。

提出的方法

• 使用实体-关系多层感知机 (ERMLP) 对 KG 中的三元组进行打分，KG 嵌入通过基于距离的模型（如 TransE 和 RotatE）学习。
• 通过聚合图像中检测到的实体的 KG 嵌入向量，将图像表示为 'Image-as-Knowledge'，形成视觉概念的语义跨度。
• 应用一步协同注意力机制，利用查询词计算实体向量的加权组合，生成联合的视觉-文本表示。
• 训练两个相同的 SiK 模型，采用门控融合机制，在推理时查询 KG，即使事实缺失也能实现鲁棒的答案检索。
• 通过复合打分函数结合词汇相似度（来自词嵌入）和 KG 语义相似度（来自 KG 嵌入），以提高检索准确性。
• 使用可学习的打分函数，对多种相似度度量（词汇、KG 嵌入、图像-实体相似度）进行加权融合。

实验结果

研究问题

• RQ1 当 KG 中缺少所需事实时，知识图谱嵌入是否能实现有效的 FVQA 推理？
• RQ2 所提出的 'Image-as-Knowledge' 表示方法与传统视觉编码方法相比，在 FVQA 中表现如何？
• RQ3 在完整和不完整的 KG 设置下，将 KG 嵌入与词嵌入结合对答案检索性能有何影响？
• RQ4 所提出的架构是否相比现有 SOTA FVQA 方法实现了更好的推理效率？
• RQ5 在真实场景中，来自图像、文本和 KG 的多模态偏差如何相互作用并影响模型预测？

主要发现

• 与 SOTA 方法相比，SiK 在缺失边推理任务上实现了 26% 的绝对性能提升，表明其对 KG 不完整性具有强大鲁棒性。
• 复合打分函数（结合词汇相似度与 KG 嵌入相似度）在真实事实存在时，相比独立 SiK 模型，将答案检索准确率提高了 6 个百分点。
• 'Image-as-Knowledge' 表示方法在准确率上比多热编码高出 3 个百分点，因其通过 KG 嵌入跨度更好地捕捉了语义关系。
• SiK 的推理复杂度为 O(m)，其中 m 是顶点数，因此在大规模 KG 中显著快于 O(N log N) 的 SOTA 方法。
• 模型的主要失败模式源于预测语义相似但错误的实体（如父子关系或多跳相关实体），表明其在细粒度实体区分方面存在局限。
• 伦理分析显示，多模态偏差——尤其是 KG 中低度数实体的偏差——可能被放大，例如因 KG 中存在虚假的位置关联，导致模型错误预测‘津巴布韦’作为动物园图片的答案。