[论文解读] Overcoming Language Priors in Visual Question Answering with Adversarial Regularization

Sainandan Ramakrishnan, Aishwarya Agrawal+1 more|arXiv (Cornell University)|Oct 8, 2018

Multimodal Machine Learning Applications被引用 104

一句话总结

本文提出一个仅由问题信息构成的对手模型以及一个熵差正则化器，以减少 VQA 中的语言先验，从而在 VQA-CP 上提高对偏差敏感的性能，同时保持标准 VQA 的准确性。

ABSTRACT

Modern Visual Question Answering (VQA) models have been shown to rely heavily on superficial correlations between question and answer words learned during training such as overwhelmingly reporting the type of room as kitchen or the sport being played as tennis, irrespective of the image. Most alarmingly, this shortcoming is often not well reflected during evaluation because the same strong priors exist in test distributions; however, a VQA system that fails to ground questions in image content would likely perform poorly in real-world settings. In this work, we present a novel regularization scheme for VQA that reduces this effect. We introduce a question-only model that takes as input the question encoding from the VQA model and must leverage language biases in order to succeed. We then pose training as an adversarial game between the VQA model and this question-only adversary -- discouraging the VQA model from capturing language biases in its question encoding. Further,we leverage this question-only model to estimate the increase in model confidence after considering the image, which we maximize explicitly to encourage visual grounding. Our approach is a model agnostic training procedure and simple to implement. We show empirically that it can improve performance significantly on a bias-sensitive split of the VQA dataset for multiple base models -- achieving state-of-the-art on this task. Further, on standard VQA tasks, our approach shows significantly less drop in accuracy compared to existing bias-reducing VQA models.

研究动机与目标

• 激励并量化视觉问答（VQA）中的语言先验及其对定位的影响。
• 提出一种训练时正则化，目标是最小化仅问题的判别能力。
• 引入第二种正则化项，最大化图像到答案的信息增益。
• 在偏差敏感的分割（VQA-CP）上证明改进，并在标准 VQA 基准上表现出鲁棒性。
• 表明该方法是模型无关的，可以叠加到现有的 VQA 架构之上。

提出的方法

• 定义一个包含图像和问题编码器的基础 VQA 模型（f, g, h）。
• 引入一个仅基于问题的对手 f_Q，它使用仅问题编码 q = g(Q) 来预测答案。
• 在对抗目标下训练，最小化 VQA 损失的同时最大化问题仅凭借的损失（对 q 进行梯度反转）。
• 添加一个熵差正则化项 L_H，鼓励图像提供更少的不确定性以预测答案（最大化 H(A|Q) - H(A|I,Q)）。
• 联合目标：min_f,g,h max_f_Q L_VQA - lambda_Q L_QA - lambda_H L_H，其中 lambda_Q 和 lambda_H 控制正则化强度。
• 解释实现细节：一个小的两层 MLP 作为 f_Q；端到端训练；使用 DoE 稳定训练。

实验结果

研究问题

• RQ1 问题仅对手是否能降低 VQA 模型对语言先验的依赖？
• RQ2 对抗性正则化是否在不牺牲标准 VQA 性能的情况下改善定位？
• RQ3 是否结合熵差项能进一步增强视觉定位和偏差缓解？
• RQ4 所提出的正则化是否对模型无关且与现有 VQA 架构兼容？
• RQ5 在偏差敏感（VQA-CP）和标准基准（VQA-v2）上的结果有何差异？

主要发现

• 在 VQA-CP v2 上对基线模型（SAN 和 UpDn）显著改善，加入 Q-Adv、DoE 或两者时效果明显。
• SAN + Q-Adv + DoE 取得最佳的偏差鲁棒性，在 VQA-CP v2 上超越了此前的状态-艺术 GVQA。
• DoE 和 Q-Adv 提供互补增益，它们的组合获得最大的改进。
• 在标准 VQA 基准上，所提出的正则化对准确率的影响较小，相较于像 GVQA 这样的偏見基线，下降更小。
• 问题仅正则化使训练中对问题的语言辨别能力降低（在 VQA-CP v2 的训练中），表明问题嵌入的语言可辨性下降。
• 该方法在 VQA-CP 上达到最新的结果，并且展示出更稳定的分布和注意力热图，指示更好的定位。