[论文解读] Visual Question: Predicting If a Crowd Will Agree on the Answer

Danna Gurari, Kristen Grauman|arXiv (Cornell University)|Aug 29, 2016

Multimodal Machine Learning Applications参考文献 21被引用 4

一句话总结

本文提出一种模型，用于预测人群在视觉问题答案上是否达成一致，从而实现在众包中动态分配人力。通过预先预测答案的一致性，该系统将冗余人力工作减少至少20%——在121,512个问题中节省了19个40小时工作周和1,800美元，同时不损失答案的多样性。

ABSTRACT

Visual question answering (VQA) systems are emerging from a desire to empower users to ask any natural language question about visual content and receive a valid answer in response. However, close examination of the VQA problem reveals an unavoidable, entangled problem that multiple humans may or may not always agree on a single answer to a visual question. We train a model to automatically predict from a visual question whether a crowd would agree on a single answer. We then propose how to exploit this system in a novel application to efficiently allocate human effort to collect answers to visual questions. Specifically, we propose a crowdsourcing system that automatically solicits fewer human responses when answer agreement is expected and more human responses when answer disagreement is expected. Our system improves upon existing crowdsourcing systems, typically eliminating at least 20% of human effort with no loss to the information collected from the crowd.

研究动机与目标

• 分析在包含450,000个视觉问题的大规模基准中，人类在视觉问答（VQA）任务中不一致的普遍性及其成因。
• 开发一种系统，用于预测人群在给定视觉问题上是否会对答案达成一致或产生分歧。
• 将此预测应用于众包中动态分配人力，减少冗余工作量，同时保持答案多样性。
• 通过用自适应、成本敏感的答案收集方式替代固定冗余，提升实时VQA系统和数据集构建的效率。

提出的方法

• 训练一个机器学习模型，利用图像和问题文本的特征，预测人群对视觉问题答案的一致性。
• 采用深度学习架构（LSTM-CNN）提取视觉和语言表征，作为一致预测模型的输入。
• 设计一种成本敏感的答案收集框架，优先为预测存在多个答案的视觉问题分配额外人力响应。
• 使用多样性度量指标评估系统，该指标衡量每个问题所捕获的独特真实答案数量。
• 将所提方法与采用固定冗余（现状）的基线方法以及依赖VQA模型不确定性的另一方法进行对比。
• 通过仅将额外人力响应导向预测存在分歧的问题，实现资源分配的优化，最大限度减少无效工作。

实验结果

研究问题

• RQ1 在现有VQA基准中，人群在视觉问题答案上达成一致或产生分歧的频率如何？
• RQ2 人类在回答视觉问题时产生分歧的主要原因是什么？
• RQ3 与依赖VQA模型不确定性相比，该模型能否更准确地预测人群是否会对单个答案达成一致？
• RQ4 在VQA数据收集中，动态分配人力响应在多大程度上能减少冗余工作量，同时保持答案多样性？

主要发现

• 基准中近50%的视觉问题导致人群达成一致，其余50%导致分歧，表明需要采用自适应收集策略。
• 分歧主要源于语义差异（如“minor”与“underage”）、概念差异（如“ghost”与“photoshop”）以及无关回答（如“no”）。
• 所提预测系统优于使用VQA模型置信度的强基线方法，因其直接建模人类分歧，而非算法不确定性。
• 与现状相比，该系统减少了92,180个答案的收集需求，为121,512个问题节省了19个40小时工作周和1,800美元。
• 该系统使70%的总多样性收集速度加快21%，使82%的多样性（如VizWiz中所示）收集速度加快23%，显著提升了效率。
• 该方法在减少人力投入的同时保持了完整的答案多样性，证明其在实时VQA和数据集构建中均具有效性和实用性。