[论文解读] Object-Centric Diagnosis of Visual Reasoning

Jianwei Yang, Jiayuan Mao+5 more|arXiv (Cornell University)|Dec 21, 2020

Multimodal Machine Learning Applications参考文献 60被引用 10

一句话总结

本文提出了一种基于GQA数据集的、以对象为中心的视觉问答（VQA）诊断框架，通过分步的对象标注评估模型的定位能力与鲁棒性。提出了一种神经符号模型——图推理机（Graph Reasoning Machine），通过利用概率场景图和教师强制训练，提升了透明度与推理准确性，在保持可解释性的同时，性能优于基线符号模型。

ABSTRACT

When answering questions about an image, it not only needs knowing what -- understanding the fine-grained contents (e.g., objects, relationships) in the image, but also telling why -- reasoning over grounding visual cues to derive the answer for a question. Over the last few years, we have seen significant progress on visual question answering. Though impressive as the accuracy grows, it still lags behind to get knowing whether these models are undertaking grounding visual reasoning or just leveraging spurious correlations in the training data. Recently, a number of works have attempted to answer this question from perspectives such as grounding and robustness. However, most of them are either focusing on the language side or coarsely studying the pixel-level attention maps. In this paper, by leveraging the step-wise object grounding annotations provided in the GQA dataset, we first present a systematical object-centric diagnosis of visual reasoning on grounding and robustness, particularly on the vision side. According to the extensive comparisons across different models, we find that even models with high accuracy are not good at grounding objects precisely, nor robust to visual content perturbations. In contrast, symbolic and modular models have a relatively better grounding and robustness, though at the cost of accuracy. To reconcile these different aspects, we further develop a diagnostic model, namely Graph Reasoning Machine. Our model replaces purely symbolic visual representation with probabilistic scene graph and then applies teacher-forcing training for the visual reasoning module. The designed model improves the performance on all three metrics over the vanilla neural-symbolic model while inheriting the transparency. Further ablation studies suggest that this improvement is mainly due to more accurate image understanding and proper intermediate reasoning supervisions.

研究动机与目标

• 开发一种系统性、以对象为中心的视觉推理模型评估框架，重点关注定位与鲁棒性。
• 诊断为何高准确率的VQA模型在简单视觉推理任务上仍会失败，尽管其整体表现优异。
• 识别当前模型的局限性，特别是视觉定位与对视觉扰动的敏感性方面的问题。
• 设计一种透明的神经符号模型，以在保持可解释性的同时提升推理准确性。
• 分析视觉推理中的失败模式，特别是与场景图质量及标注模糊性相关的问题。

提出的方法

• 利用GQA数据集中分步的对象定位标注，定义了针对定位与鲁棒性的精确度量指标。
• 提出图推理机（Graph Reasoning Machine），一种三模块系统：场景图生成器、程序生成器与程序执行器。
• 用从真实图像中提取的概率场景图替代刚性符号化场景图，以提升对视觉变化的鲁棒性。
• 对视觉推理模块应用教师强制训练，以稳定学习过程并增强中间监督。
• 使用定量指标比较多种模型（包括神经网络、模块化与符号化架构）在定位准确性与鲁棒性方面的表现。
• 进行消融研究，以分离图像理解与中间推理监督对性能的贡献。

实验结果

研究问题

• RQ1 高准确率的VQA模型在多大程度上能将其推理精确地定位到正确的视觉对象上？
• RQ2 VQA模型在面对遮挡无关背景对象等扰动时，其鲁棒性如何？
• RQ3 神经符号模型是否能在牺牲部分准确率的前提下，实现优于纯神经网络模型的定位与鲁棒性？
• RQ4 视觉推理模型的主要失败模式是什么？它们与场景图质量及标注模糊性有何关联？
• RQ5 引入中间推理监督是否能同时提升视觉推理的准确性与可解释性？

主要发现

• 即使在GQA数据集上表现高准确率的模型，其对象定位仍不精确：当前景对象被遮挡时，预测结果不一致。
• 模型对背景扰动不具鲁棒性：遮盖非目标对象可能导致答案反转，表明推理过程缺乏一致性。
• 符号化与模块化模型在定位与鲁棒性方面优于端到端神经网络模型，尽管整体准确率较低。
• 所提出的图推理机在所有三项指标（准确率、定位、鲁棒性）上均优于基线神经符号模型，同时保持了可解释性。
• 消融研究显示，图像理解能力的提升与中间推理监督是图推理机性能提升的关键因素。
• 失败分析表明，场景图生成缺陷——尤其是对象检测能力差（mAP 4.85）与关系检测能力弱——是错误的主要原因，超过75%的失败案例涉及“relate”操作。