[论文解读] Visual Question Reasoning on General Dependency Tree

Qingxing Cao, Xiaodan Liang+3 more|arXiv (Cornell University)|Mar 31, 2018

Multimodal Machine Learning Applications被引用 5

一句话总结

该论文提出了一种对抗性组合模块化网络（ACMN），通过利用问题的一般依赖解析树，实现可解释的视觉问答。ACMN 使用对抗性注意力模块，逐步发现修饰关系的显著图像区域；并通过残差组合模块整合从句谓词关系的特征，实现在无需手工规则或标注的情况下，实现全局、推理感知的视觉-语言对齐。该模型在关系型视觉问答基准上达到最先进性能，且具备出色的可解释性。

ABSTRACT

The collaborative reasoning for understanding each image-question pair is very critical but under-explored for an interpretable Visual Question Answering (VQA) system. Although very recent works also tried the explicit compositional processes to assemble multiple sub-tasks embedded in the questions, their models heavily rely on the annotations or hand-crafted rules to obtain valid reasoning layout, leading to either heavy labor or poor performance on composition reasoning. In this paper, to enable global context reasoning for better aligning image and language domains in diverse and unrestricted cases, we propose a novel reasoning network called Adversarial Composition Modular Network (ACMN). This network comprises of two collaborative modules: i) an adversarial attention module to exploit the local visual evidence for each word parsed from the question; ii) a residual composition module to compose the previously mined evidence. Given a dependency parse tree for each question, the adversarial attention module progressively discovers salient regions of one word by densely combining regions of child word nodes in an adversarial manner. Then residual composition module merges the hidden representations of an arbitrary number of children through sum pooling and residual connection. Our ACMN is thus capable of building an interpretable VQA system that gradually dives the image cues following a question-driven reasoning route and makes global reasoning by incorporating the learned knowledge of all attention modules in a principled manner. Experiments on relational datasets demonstrate the superiority of our ACMN and visualization results show the explainable capability of our reasoning system.

研究动机与目标

• 解决现有VQA模型在依赖黑箱或基于规则推理时缺乏可解释性和泛化能力的问题。
• 实现在无需标注布局或手工规则的前提下，对任意依赖解析树进行全局、上下文感知的推理。
• 通过建模两种关键依赖关系——从句谓词关系与修饰关系，提升VQA中的关系推理能力。
• 开发一种模块化、端到端可训练的网络，支持以问题为导向的、逐步的视觉证据挖掘与特征组合。

提出的方法

• 该模型使用现成的依赖解析器，为每个问题生成树状解析结构，作为推理的核心骨架。
• 对于修饰关系（如“灰色物体”），对抗性注意力模块会从子节点中屏蔽已注意过的区域，并在剩余特征上执行软注意力，以发现新的视觉证据。
• 对于从句谓词关系（如“是”、“有”），残差组合模块通过求和池化和残差连接，融合子节点的隐藏表示，以保持信息流动。
• 对抗性注意力机制采用软掩码策略，结合子节点的注意力图并抑制其特征，以鼓励探索新的图像区域。
• 残差组合模块采用双线性融合来整合多个子节点的特征，并通过跳跃连接保持梯度流动，即使子节点数量可变也适用。
• 整个网络端到端训练，以预测答案并生成可视化推理路径的注意力图。

实验结果

研究问题

• RQ1 VQA系统是否能在不依赖手工规则或标注布局的前提下，对通用依赖树执行可解释的、全局推理？
• RQ2 对抗性注意力机制在开放式问题中如何提升对修饰关系的视觉证据发现能力？
• RQ3 残差组合在复杂推理中对从句谓词关系的特征整合有多大程度的增强作用？
• RQ4 所提出的模块化架构在关系型VQA中是否能泛化到多样且无限制的问题风格？

主要发现

• ACMN在Sort-of-CLEVR数据集上达到最先进性能，当使用双路径残差结构时准确率达到91.1%，证明了残差学习在处理可变且冗余子节点中的有效性。
• 消融实验表明，移除残差连接会使准确率降低2.7%，证实其在特征组合过程中保持信息流动的关键作用。
• 对抗性注意力模块优于重定位模块和特征拼接基线，准确率提升1.5%，归因于对未注意图像区域的更好探索。
• 在VQAv2数据集上，ACMN在test-std上达到64.05%准确率，在test-dev上达到63.81%，优于非集成基线方法，并在无需数据增强或集成技术的情况下接近第一名方法。
• 可视化结果表明，ACMN遵循以问题为导向的推理路径，逐步正确关注相关图像区域，例如在定位“furthest object”前先定位“gray object”。