[论文解读] VQA-LOL: Visual Question Answering under the Lens of Logic

Tejas Gokhale, Pratyay Banerjee+2 more|arXiv (Cornell University)|Feb 19, 2020

Multimodal Machine Learning Applications参考文献 57被引用 10

一句话总结

本文提出 VQA-LOL，一种新型框架，通过问题注意力和逻辑注意力机制显式建模逻辑连词（如否定、合取、析取），并引入 Fréchet-Compatibility Loss 以确保逻辑一致性，从而提升对逻辑复合问题的推理能力。该模型在逻辑复合问题推理方面取得显著提升，同时在标准 VQA 基准测试中保持最先进性能。

ABSTRACT

Logical connectives and their implications on the meaning of a natural language sentence are a fundamental aspect of understanding. In this paper, we investigate whether visual question answering (VQA) systems trained to answer a question about an image, are able to answer the logical composition of multiple such questions. When put under this extit{Lens of Logic}, state-of-the-art VQA models have difficulty in correctly answering these logically composed questions. We construct an augmentation of the VQA dataset as a benchmark, with questions containing logical compositions and linguistic transformations (negation, disjunction, conjunction, and antonyms). We propose our {Lens of Logic (LOL)} model which uses question-attention and logic-attention to understand logical connectives in the question, and a novel Fréchet-Compatibility Loss, which ensures that the answers of the component questions and the composed question are consistent with the inferred logical operation. Our model shows substantial improvement in learning logical compositions while retaining performance on VQA. We suggest this work as a move towards robustness by embedding logical connectives in visual understanding.

研究动机与目标

• 探究最先进 VQA 模型是否能可靠回答涉及否定、合取和析取的逻辑复合问题。
• 通过构建包含逻辑复合的新型基准数据集，解决现有模型在处理逻辑变换时的失败问题。
• 开发一种联合学习视觉理解与逻辑推理的模型，利用注意力机制和新型损失函数。
• 提升组合泛化能力，使模型在仅用单个逻辑算子训练后，能够处理包含多个逻辑算子的问题。

提出的方法

• 作者通过在 VQA 数据集上引入否定、合取、析取和反义词等逻辑复合问题，构建了新数据集 VQA-Compose。
• 利用 COCO 数据集中对象和图像字幕的标注，创建了补充数据集 VQA-Supplement，以丰富逻辑复合的多样性。
• 所提出的 LOL 模型采用两种注意力机制：问题注意力用于定位图像中相关区域，逻辑注意力用于识别并解析问题中的逻辑连词。
• 提出一种新型 Fréchet-Compatibility Loss，基于逻辑推理规则，强制保证分量问题答案与复合问题答案之间的一致性。
• 模型在增强数据集上端到端训练，并通过微调以保持在标准 VQA 任务上的性能。
• 该框架支持组合泛化，即在单逻辑算子问题上训练的模型可泛化至多算子复合问题。

实验结果

研究问题

• RQ1 最先进 VQA 模型能否正确回答涉及否定、合取和析取的逻辑复合问题？
• RQ2 对逻辑复合问题进行显式训练是否能提升模型对逻辑变换的鲁棒性？
• RQ3 通过逻辑连词注意力机制训练的模型能否泛化至未见过的逻辑算子组合？
• RQ4 所提出的 Fréchet-Compatibility Loss 如何提升答案预测中的逻辑一致性？
• RQ5 引入逻辑推理机制是否能在不降低标准 VQA 性能的前提下，提升模型在复合问题上的表现？

主要发现

• 在 VQA-Compose 数据集上微调后的 LXMERT 模型在逻辑复合问题上表现提升，尤其在合取和否定问题上，但在析取问题上性能仍有限。
• 采用问题注意力与逻辑注意力机制的 LOL 模型在 $Q_1 \wedge Q_2$ 上达到 87.77% 准确率，在 $\neg Q_1$ 上达到 86.43%，显著优于基线模型。
• 在 VQA-Supplement 数据集上，LOL 模型在 $\neg Q \wedge \neg C$ 上达到 99.89% 准确率，展现出在包含否定事实的复杂逻辑复合问题上的强大性能。
• 该模型表现出强大的组合泛化能力：在单算子问题上训练后，能有效泛化至多算子复合问题，性能下降极小。
• Fréchet-Compatibility Loss 有效提升了逻辑一致性，表现为在逻辑复杂问题上的准确率显著高于未使用该损失的模型。
• 研究发现，涉及否定或反义陈述的析取问题（如 $Q \vee \neg B$）尤其具有挑战性，基线模型准确率显著下降。