[论文解读] Robustness Analysis of Visual QA Models by Basic Questions

Jia-Hong Huang, Dao, Cuong Duc+3 more|arXiv (Cornell University)|Sep 14, 2017

Multimodal Machine Learning Applications参考文献 41被引用 15

一句话总结

本文提出了一种新颖的视觉问答（VQA）模型鲁棒性评估框架，利用语义相似的'基础问题'作为受控噪声。通过基于LASSO的相似性方法对基础问题进行排序，并将其与主问题拼接，该框架生成了不同噪声水平，并引入了一种新的鲁棒性评分（$R_{\text{score}}$），表明注意力机制VQA模型在两个新创建的大规模数据集上比非注意力模型更具鲁棒性。

ABSTRACT

Visual Question Answering (VQA) models should have both high robustness and accuracy. Unfortunately, most of the current VQA research only focuses on accuracy because there is a lack of proper methods to measure the robustness of VQA models. There are two main modules in our algorithm. Given a natural language question about an image, the first module takes the question as input and then outputs the ranked basic questions, with similarity scores, of the main given question. The second module takes the main question, image and these basic questions as input and then outputs the text-based answer of the main question about the given image. We claim that a robust VQA model is one, whose performance is not changed much when related basic questions as also made available to it as input. We formulate the basic questions generation problem as a LASSO optimization, and also propose a large scale Basic Question Dataset (BQD) and Rscore (novel robustness measure), for analyzing the robustness of VQA models. We hope our BQD will be used as a benchmark for to evaluate the robustness of VQA models, so as to help the community build more robust and accurate VQA models.

研究动机与目标

• 为解决VQA模型在语义扰动下缺乏标准化鲁棒性评估的问题。
• 开发一种方法，通过问题之间的语义相似性来量化VQA输入中的噪声水平。
• 提出一种新的鲁棒性度量$R_{\text{score}}$，通过比较模型在注入基础问题前后的表现来评估鲁棒性。
• 创建两个大规模、标准化的数据集——通用基础问题数据集（GBQD）和是/否基础问题数据集（YNBQD），以实现一致的鲁棒性基准测试。
• 在受控语义噪声下，对六种最先进VQA模型的鲁棒性进行评估与比较。

提出的方法

• 该框架使用噪声生成器，基于多种相似性度量方法，根据基础问题与主问题的语义相似度对基础问题进行排序。
• 提出一种新颖的基于LASSO的优化方法，用于对基础问题进行排序，旨在更好地捕捉语义相关性并控制噪声水平。
• 将排序靠前的$n$个（例如$n=3$）基础问题与主问题拼接，形成带有噪声的输入问题。
• 在原始问题和带噪声的问题上分别评估VQA模型，并将$R_{\text{score}}$计算为在带噪声输入上的准确率与在干净输入上的准确率之比。
• 该框架支持多种相似性度量（BLEU、ROUGE、CIDEr、METEOR），并可扩展至新数据集和新排序方法。
• 利用新引入的GBQD和YNBQD数据集，将鲁棒性分析应用于六种最先进VQA模型。

实验结果

研究问题

• RQ1 如何系统性地利用基础问题形式的语义扰动来评估VQA模型的鲁棒性？
• RQ2 哪种文本相似性度量能最有效地对基础问题进行排序，以实现VQA鲁棒性评估中的噪声水平控制？
• RQ3 在语义噪声下，注意力机制VQA模型与非注意力模型的鲁棒性相比如何？
• RQ4 所提出的$R_{\text{score}}$度量在多个相关问题下与人类推理的相关性有多大？
• RQ5 大规模、标准化的基础问题数据集在VQA鲁棒性研究中能否提升可重现性与基准测试水平？

主要发现

• 基于LASSO的排序方法在生成有效噪声水平方面优于七种现有文本相似性度量（BLEU-1至BLEU-4、ROUGE、CIDEr、METEOR）。
• 注意力机制VQA模型在$R_{\text{score}}$度量下表现出比非注意力模型更高的鲁棒性。
• 所提出的$R_{\text{score}}$度量能通过比较干净输入与带噪声输入上的准确率，有效量化模型鲁棒性。
• 通用基础问题数据集（GBQD）和是/否基础问题数据集（YNBQD）为一致的VQA鲁棒性评估提供了标准化、大规模的资源。
• 该框架通过将语义扰动建模为排序后语义相关的提问，实现了受控且可解释的鲁棒性分析。
• 实证结果证实，当模型受到高度相似的基础问题扰动时，仍能保持较高准确率，验证了噪声水平假设。