[论文解读] Overcoming Language Priors in Visual Question Answering via Distinguishing Superficially Similar Instances

Yike Wu, Yu Zhao+5 more|arXiv (Cornell University)|Sep 18, 2022

Multimodal Machine Learning Applications被引用 7

一句话总结

本文提出了一种新颖的训练框架，通过显式区分表面相似的样本（即问题类型相同但答案不同的训练样本），以克服视觉问答（VQA）中的语言先验问题。该方法引入了一个区分模块，增大此类样本在答案空间中的距离，迫使模型超越问题类型进行关注，在VQA-CP v2上实现了最先进性能，同时在VQA v2上也保持了优异表现。

ABSTRACT

Despite the great progress of Visual Question Answering (VQA), current VQA models heavily rely on the superficial correlation between the question type and its corresponding frequent answers (i.e., language priors) to make predictions, without really understanding the input. In this work, we define the training instances with the same question type but different answers as extit{superficially similar instances}, and attribute the language priors to the confusion of VQA model on such instances. To solve this problem, we propose a novel training framework that explicitly encourages the VQA model to distinguish between the superficially similar instances. Specifically, for each training instance, we first construct a set that contains its superficially similar counterparts. Then we exploit the proposed distinguishing module to increase the distance between the instance and its counterparts in the answer space. In this way, the VQA model is forced to further focus on the other parts of the input beyond the question type, which helps to overcome the language priors. Experimental results show that our method achieves the state-of-the-art performance on VQA-CP v2. Codes are available at \href{https://github.com/wyk-nku/Distinguishing-VQA.git}{Distinguishing-VQA}.

研究动机与目标

• 解决VQA模型普遍依赖语言先验的问题——特别是问题类型与高频答案之间的表面相关性，而非理解输入上下文。
• 定义并形式化‘表面相似样本’的概念，即共享相同问题类型但具有不同真实答案的训练样本。
• 提出一种训练框架，明确鼓励VQA模型区分此类样本，从而减少对语言先验的依赖。
• 通过增强对视觉和上下文线索的关注，而非仅依赖问题类型，提升模型在分布偏移基准（如VQA-CP v2）上的泛化能力和鲁棒性。

提出的方法

• 对于每个训练样本，构建一组表面相似的对应样本，包括数据集中真实的样本以及通过数据增强生成的合成样本。
• 设计一个区分模块，增大给定样本的预测答案分布与其中表面相似对应样本的答案分布之间的答案空间距离。
• 引入一个调制因子 $ p_{jm} $，根据模型对每个对应样本预测的置信度动态调整损失。
• 制定一种双损失训练目标，结合标准VQA损失 $ \mathcal{L}_{vqa} $ 和区分损失 $ \mathcal{L}_{dis} $，并通过超参数比值 $ \lambda_2 / \lambda_1 $ 平衡两者。
• 通过在高层特征上操作而非原始输入，高效实现该方法，支持从表面相似样本集中采样，实现资源高效的训练。
• 利用数据增强生成多样化合成对应样本，显著提升用于区分的训练信号的多样性与数量。

实验结果

研究问题

• RQ1 显式区分表面相似样本（即问题类型相同但答案不同）是否能减少VQA模型对语言先验的依赖？
• RQ2 所提出的区分模块在提升模型在分布偏移基准（如VQA-CP v2）上的泛化能力方面效果如何？
• RQ3 真实对应样本与合成对应样本在提升模型性能与鲁棒性方面的贡献分别是什么？
• RQ4 标准VQA损失与区分损失之间的平衡如何影响模型性能与泛化能力？
• RQ5 所提出的方法能否在不同VQA模型架构（如SAN和UpDn）上实现泛化？

主要发现

• 所提方法在VQA-CP v2测试集上实现了61.13%的最先进整体准确率，优于此前方法。
• 移除区分模块后性能降至44.62%，表明其在缓解语言先验问题中起着关键作用。
• 由于数量更多且多样性更高，合成对应样本的贡献显著高于真实对应样本，有效提升了模型泛化能力。
• 该方法在不同架构上具有良好的泛化性，在SAN和UpDn模型上均提升了VQA-CP v2的性能，其中SAN+DM达到61.17%的准确率。
• 区分损失的最优比值 $ \lambda_2 / \lambda_1 $ 位于适中范围——比值过高会导致欠拟合，过低则无法有效抑制语言先验。
• 消融实验表明，区分模块与调制因子 $ p_{jm} $ 均对性能至关重要，任一模块的移除均导致准确率显著下降。