[论文解读] TallyQA: Answering Complex Counting Questions

Manoj Acharya, Kushal Kafle+1 more|arXiv (Cornell University)|Oct 29, 2018

Multimodal Machine Learning Applications参考文献 30被引用 5

一句话总结

本文提出了 TallyQA，这是目前最大的开放式计数数据集，并提出了关系计数网络（RCN），一种基于区域的模型，通过使用对象提议与关系网络结合，提升对复杂计数问题的推理能力。RCN 在 TallyQA 和 HowMany-QA 上均达到当前最优性能，在复杂问题上的表现相比先前方法最高提升 6.38%。

ABSTRACT

Most counting questions in visual question answering (VQA) datasets are simple and require no more than object detection. Here, we study algorithms for complex counting questions that involve relationships between objects, attribute identification, reasoning, and more. To do this, we created TallyQA, the world's largest dataset for open-ended counting. We propose a new algorithm for counting that uses relation networks with region proposals. Our method lets relation networks be efficiently used with high-resolution imagery. It yields state-of-the-art results compared to baseline and recent systems on both TallyQA and the HowMany-QA benchmark.

研究动机与目标

• 为解决视觉问答（VQA）中缺乏专注于复杂计数问题的大规模数据集的问题。
• 开发一种能够有效推理图像中对象间关系、属性及空间构型的计数方法。
• 区分简单计数（仅需目标检测）与复杂计数（需推理与属性识别）任务。
• 评估并提升在现有数据集中代表性不足的复杂计数问题上的性能。
• 为未来在开放式计数研究领域提供公开可用的基准。

提出的方法

• 提出关系计数网络（RCN），结合目标检测生成的区域提议与关系网络，以建模对象与背景区域之间的关系。
• 采用动态数量的区域提议作为输入，实现对高分辨率图像的高效处理。
• 为每个提议引入空间位置特征（$s_{ij}$），以增强关系推理能力。
• 通过基于关系网络最终层梯度计算提议重要性，对 Grad-CAM 进行适配以实现可视化。
• 采用两阶段架构：首先，利用区域提议网络提取对象提议；其次，通过学习的关系函数建模提议与背景之间的关系。
• 对关系特征进行平均池化操作，生成最终的计数预测结果。

实验结果

研究问题

• RQ1 深度学习模型能否有效回答需要超越简单目标检测的推理能力的复杂计数问题？
• RQ2 计数模型在简单与复杂计数问题上的表现有何差异？
• RQ3 空间与关系特征在开放式 VQA 中对提升计数准确率的贡献程度如何？
• RQ4 能否通过使用区域提议而非原始特征图，高效地将关系网络应用于高分辨率图像？
• RQ5 RCN 模型在复杂与简单计数基准上与当前最优方法相比表现如何？

主要发现

• 在 TallyQA 的复杂计数问题上，RCN 相较于 Zhang 等人的模型实现了 6.38% 的绝对准确率提升。
• 在 HowMany-QA 基准上，RCN 在复杂问题上的表现相比 Zhang 等人的模型高出 6.38% 的绝对准确率。
• 移除空间位置特征后，HowMany-QA 上准确率下降 5.4%，TallyQA 上下降 2.4% 至 2.8%，证明其重要性。
• RCN 在 TallyQA 和 HowMany-QA 上均达到当前最优性能，超越了 IRLC 和 MUTAN 等先前模型。
• 简单与复杂问题之间的性能差距显著，且 RCN 在复杂问题上获得更大提升，表明训练数据多样性仍有改进空间。
• 非极大值抑制未提升性能，表明 RCN 的关系机制在处理重叠或冗余提议方面比传统后处理更有效。