[论文解读] Semantic Equivalent Adversarial Data Augmentation for Visual Question Answering

Ruixue Tang, Chao Ma+3 more|arXiv (Cornell University)|Jul 19, 2020

Multimodal Machine Learning Applications参考文献 46被引用 10

一句话总结

本文提出语义等价对抗性数据增强（SEADA）用于视觉问答（VQA），通过生成对图像和问题均不可察觉、语义等价的对抗性样本，提升模型的泛化能力和鲁棒性。通过在这些合成样本上对抗性训练BUTD模型，该方法在VQAv2的干净验证集上达到65.16%的准确率，较基线提升1.84%，在联合视觉与文本攻击下鲁棒性提升21.55%。

ABSTRACT

Visual Question Answering (VQA) has achieved great success thanks to the fast development of deep neural networks (DNN). On the other hand, the data augmentation, as one of the major tricks for DNN, has been widely used in many computer vision tasks. However, there are few works studying the data augmentation problem for VQA and none of the existing image based augmentation schemes (such as rotation and flipping) can be directly applied to VQA due to its semantic structure -- an $\langle image, question, answer angle$ triplet needs to be maintained correctly. For example, a direction related Question-Answer (QA) pair may not be true if the associated image is rotated or flipped. In this paper, instead of directly manipulating images and questions, we use generated adversarial examples for both images and questions as the augmented data. The augmented examples do not change the visual properties presented in the image as well as the extbf{semantic} meaning of the question, the correctness of the $\langle image, question, answer angle$ is thus still maintained. We then use adversarial learning to train a classic VQA model (BUTD) with our augmented data. We find that we not only improve the overall performance on VQAv2, but also can withstand adversarial attack effectively, compared to the baseline model. The source code is available at https://github.com/zaynmi/seada-vqa.

研究动机与目标

• 解决VQA中缺乏有效数据增强技术的问题，以保持<图像, 问题, 答案>三元组的语义完整性。
• 通过生成在探索决策边界的同时保持语义等价性的对抗性样本，提升VQA模型的泛化能力和鲁棒性。
• 开发一个统一的数据增强框架，通过对抗性扰动和改写技术同时增强视觉和文本输入。
• 评估使用此类增强数据进行对抗性训练是否能提升模型在干净数据上的性能以及对对抗攻击的抵抗能力。

提出的方法

• 使用无目标、基于梯度的攻击者（IFGSM）生成视觉对抗性样本，控制扰动大小ε和步长α。
• 通过改写生成保持语义含义但使VQA模型错误预测的文本对抗性样本。
• 将视觉和文本对抗性样本作为增强训练数据，应用于对抗性训练方案中。
• 端到端训练BUTD模型，混合使用干净样本和对抗性样本，将对抗性样本视为正则化项。
• 在训练和评估过程中应用不同攻击者（IFGSM、FGSM、PGD）以评估泛化能力和鲁棒性。
• 通过语义相似度分数和标签一致性进行人工评估，验证改写结果的语义一致性。

实验结果

研究问题

• RQ1 为图像和问题生成语义等价的对抗性样本，能否提升VQA模型在干净数据上的性能？
• RQ2 使用此类增强数据进行对抗性训练，能否提升模型对视觉与文本对抗攻击的鲁棒性？
• RQ3 所提方法在VQA中与基线模型及现有数据增强技术相比，性能如何？
• RQ4 生成的改写文本在多大程度上保持了原始问题的语义含义？
• RQ5 性能提升是源于对抗性样本的正则化效应，还是特定于攻击者？

主要发现

• 所提方法在VQAv2干净验证集上达到65.16%的准确率，较原始BUTD基线提升1.84%。
• 与基线相比，经过对抗性训练的模型在联合视觉与文本对抗样本上的鲁棒性提升21.55%。
• 在由强攻击者PGD生成的对抗样本上（ε=0.5，α=0.125，n=6），模型准确率达到22.64%，较基线高出4.59%。
• 人工评估显示，原始问题与其改写版本之间语义相似度的标签一致性达84%，证实了高度的语义一致性。
• 该方法在不同攻击者（IFGSM、FGSM、PGD）下表现良好，表明其泛化能力超越单一攻击类型。
• 使用SEADA训练的模型在文本对抗性问题上的翻转率（flip rate）显著降低至18.8%，远低于基线的36.72%，表明其具备更强的鲁棒性。