[论文解读] Visual Perturbation-aware Collaborative Learning for Overcoming the Language Prior Problem

Yudong Han, Liqiang Nie+3 more|arXiv (Cornell University)|Jul 24, 2022

Multimodal Machine Learning Applications被引用 4

一句话总结

该论文提出了一种视觉扰动感知的协同学习框架，通过利用精心设计的图像扰动来强制实现样本内不变性和样本间可分性，从而缓解视觉问答（VQA）中的语言先验问题。该方法在VQA-CP v1和VQA-CP v2上分别将基线模型性能提升了22.91%和19.67%，达到当前最优性能，并在平衡基准上展现出良好的鲁棒性。

ABSTRACT

Several studies have recently pointed that existing Visual Question Answering (VQA) models heavily suffer from the language prior problem, which refers to capturing superficial statistical correlations between the question type and the answer whereas ignoring the image contents. Numerous efforts have been dedicated to strengthen the image dependency by creating the delicate models or introducing the extra visual annotations. However, these methods cannot sufficiently explore how the visual cues explicitly affect the learned answer representation, which is vital for language reliance alleviation. Moreover, they generally emphasize the class-level discrimination of the learned answer representation, which overlooks the more fine-grained instance-level patterns and demands further optimization. In this paper, we propose a novel collaborative learning scheme from the viewpoint of visual perturbation calibration, which can better investigate the fine-grained visual effects and mitigate the language prior problem by learning the instance-level characteristics. Specifically, we devise a visual controller to construct two sorts of curated images with different perturbation extents, based on which the collaborative learning of intra-instance invariance and inter-instance discrimination is implemented by two well-designed discriminators. Besides, we implement the information bottleneck modulator on latent space for further bias alleviation and representation calibration. We impose our visual perturbation-aware framework to three orthodox baselines and the experimental results on two diagnostic VQA-CP benchmark datasets evidently demonstrate its effectiveness. In addition, we also justify its robustness on the balanced VQA benchmark.

研究动机与目标

• 为解决VQA中的语言先验问题，即模型依赖于问题与答案之间的统计相关性而非视觉内容。
• 显式建模视觉线索如何影响答案表征，超越粗粒度的类别级别区分。
• 通过强制实现样本内不变性和样本间可分性，提升细粒度实例级别表征学习。
• 通过信息瓶颈调制器校准学习到的表征，以减少偏差并提升泛化能力。
• 开发一种与模型无关的框架，可在不进行任务特定微调的情况下提升现有VQA基线模型。

提出的方法

• 视觉控制器基于类别激活图动态生成两类扰动图像特征——软扰动和硬扰动。
• 训练两个判别器，分别用于强制实现样本内不变性（扰动间的一致性）和样本间可分性（不同样本之间的可区分性）。
• 在潜在空间中应用信息瓶颈调制器，以保留判别性信息的同时减少偏差。
• 通过协同学习机制将该框架与标准VQA模型集成，联合优化不变性与可分性目标。
• 采用负样本挖掘策略以改善样本内学习，其中超参数控制最高质量负样本的数量。
• 对超参数如λvib和λb进行调优，以平衡扰动强度与表征校准。

实验结果

研究问题

• RQ1 通过建模视觉线索对答案表征的细粒度影响，视觉扰动感知学习是否能有效缓解VQA中的语言偏差？
• RQ2 强制实现样本内不变性与样本间可分性是否能提升模型在有偏置基准上的鲁棒性与性能？
• RQ3 所提方法在诊断性VQA-CP数据集上与当前最优方法相比表现如何？
• RQ4 N′和λb等超参数对模型性能与表征校准的影响是什么？
• RQ5 该框架是否能泛化到标准的、平衡的VQA基准，并有效提升基线模型性能？

主要发现

• 在VQA-CP v1上，该方法相比SOTA在整体准确率上绝对提升1.83%；在VQA-CP v2上提升1.86%。
• 在VQA-CP v1上，该方法将UpDn基线模型性能提升22.91%；在VQA-CP v2上提升19.67%，展现出强大的泛化能力。
• 模型在平衡的VQA基准上保持了强劲性能，表明数据偏差减少，推理能力得到提升。
• 当N′（负样本数量）约为20时性能达到峰值，超过该值后性能下降，原因在于引入了低置信度的负样本。
• 当λb ≈ 2时达到最优性能；超过该值后性能急剧下降，原因在于对不变性目标的过度强调。
• 可视化结果表明，模型学习到了更准确的关注图，聚焦于相关视觉元素（如飞盘、人物），而非无关线索（如草地或球）。