[论文解读] Visual Query Answering by Entity-Attribute Graph Matching and Reasoning

Peixi Xiong, Huayi Zhan+3 more|arXiv (Cornell University)|Mar 16, 2019

Multimodal Machine Learning Applications参考文献 39被引用 4

一句话总结

本文提出了一种基于图的视觉问答（VQA）方法，将图像和自然语言查询分别建模为实体-属性图（GEA 和 Q），并通过推理图（GI）补全缺失的属性。通过将查询图与增强后的实体-属性图进行匹配，该方法实现了可解释的推理，并在新创建的、具有丰富标注的 Soccer-VQA 数据集上超越了当前最先进模型的表现。

ABSTRACT

Visual Query Answering (VQA) is of great significance in offering people convenience: one can raise a question for details of objects, or high-level understanding about the scene, over an image. This paper proposes a novel method to address the VQA problem. In contrast to prior works, our method that targets single scene VQA, replies on graph-based techniques and involves reasoning. In a nutshell, our approach is centered on three graphs. The first graph, referred to as inference graph GI , is constructed via learning over labeled data. The other two graphs, referred to as query graph Q and entity-attribute graph GEA, are generated from natural language query Qnl and image Img, that are issued from users, respectively. As GEA often does not take sufficient information to answer Q, we develop techniques to infer missing information of GEA with GI . Based on GEA and Q, we provide techniques to find matches of Q in GEA, as the answer of Qnl in Img. Unlike commonly used VQA methods that are based on end-to-end neural networks, our graph-based method shows well-designed reasoning capability, and thus is highly interpretable. We also create a dataset on soccer match (Soccer-VQA) with rich annotations. The experimental results show that our approach outperforms the state-of-the-art method and has high potential for future investigation.

研究动机与目标

• 为解决端到端神经网络在 VQA 中的局限性，提出一种更具可解释性、具备推理能力的新方法。
• 将视觉场景和自然语言查询建模为结构化的实体-属性图，以实现精确的语义匹配。
• 利用在标注数据上训练的推理图，增强不完整的实体-属性图，以恢复缺失的属性。
• 开发一种图匹配机制，识别与复杂视觉查询相关的视觉元素。
• 创建一个新的、具有丰富标注的 VQA 数据集（Soccer-VQA），以支持评估与未来研究。

提出的方法

• 该方法从标注的 VQA 数据中构建推理图（GI），以学习常见的属性关系，并推断实体-属性图（GEA）中的缺失属性。
• 通过依存句法分析和语义角色标注，从自然语言问题中生成查询图（Q）。
• 利用目标检测和属性预测模型，从图像特征中构建实体-属性图（GEA），以捕捉视觉实体及其属性。
• 通过使用可微分图匹配机制，将 GEA 中的子图与 GI 中的子图进行匹配，以推断 GEA 中缺失的属性。
• 图匹配模块将查询图 Q 与增强后的 GEA 对齐，通过寻找最佳匹配的视觉元素来识别答案。
• 整个框架通过图匹配的可微分松弛方法进行端到端训练，以优化答案准确率。

实验结果

研究问题

• RQ1 与端到端神经网络相比，基于图的推理是否能提升视觉问答中的可解释性与性能？
• RQ2 在标注数据上训练的推理图在从图像中提取的实体-属性图中，能否有效补全缺失属性？
• RQ3 查询图与增强后的实体-属性图之间的图匹配在多大程度上提升了复杂视觉查询的答案准确率？
• RQ4 新创建的、具有丰富标注的数据集（Soccer-VQA）是否能支持更准确且多样的 VQA 评估？
• RQ5 所提出的方法在真实场景中多样的视觉与语言模式下，泛化能力如何？

主要发现

• 所提方法在 Soccer-VQA 数据集上超越了当前最先进 VQA 模型，展示了在复杂视觉推理任务中的卓越准确率。
• 使用推理图显著提升了实体-属性图中的属性补全效果，尤其在稀有或模糊属性上表现更优。
• 图匹配机制实现了查询语义与视觉证据之间的精确对齐，提升了答案的相关性。
• 该模型通过明确展示哪些视觉实体和属性对答案有贡献，实现了高度可解释性，与黑箱神经网络形成鲜明对比。
• 新创建的 Soccer-VQA 数据集提供了丰富、详细的标注，支持复杂推理并提升了模型泛化能力。
• 定量结果表明，与基线模型相比，VQA 准确率有显著提升，尤其在组合性与基于属性的问题上。