[论文解读] VideoNavQA: Bridging the Gap between Visual and Embodied Question Answering

Cătălina Cangea, Eugene Belilovsky+2 more|arXiv (Cornell University)|Aug 14, 2019

Multimodal Machine Learning Applications参考文献 42被引用 10

一句话总结

本文提出了VideoNavQA，一个新基准，通过在3D环境中提供高质量的视频轨迹，将视觉推理与导航从具身问答（EQA）任务中解耦。该基准评估了当前先进的视觉问答（VQA）模型在复杂、多样化问题上的表现，结果表明，即使在最优导航条件下，视觉推理仍是一个重大挑战，最先进模型在完整测试集上的准确率仅为64.47%。

ABSTRACT

Embodied Question Answering (EQA) is a recently proposed task, where an agent is placed in a rich 3D environment and must act based solely on its egocentric input to answer a given question. The desired outcome is that the agent learns to combine capabilities such as scene understanding, navigation and language understanding in order to perform complex reasoning in the visual world. However, initial advancements combining standard vision and language methods with imitation and reinforcement learning algorithms have shown EQA might be too complex and challenging for these techniques. In order to investigate the feasibility of EQA-type tasks, we build the VideoNavQA dataset that contains pairs of questions and videos generated in the House3D environment. The goal of this dataset is to assess question-answering performance from nearly-ideal navigation paths, while considering a much more complete variety of questions than current instantiations of the EQA task. We investigate several models, adapted from popular VQA methods, on this new benchmark. This establishes an initial understanding of how well VQA-style methods can perform within this novel EQA paradigm.

研究动机与目标

• 探究当前VQA方法在简化导航的条件下，是否能够处理丰富、动态3D环境中的复杂视觉推理任务。
• 通过将导航与视觉推理解耦，为具身问答（EQA）建立性能基线。
• 利用多样化、高质量的基于视频的数据集，在理想条件下评估EQA的可行性。
• 识别在视频流中复杂、多跳推理任务中，哪些VQA架构具有最佳泛化能力。

提出的方法

• VideoNavQA数据集基于House3D环境构建，生成具有近似最优导航路径的视频轨迹。
• 每个数据样本包含一段第一人称视角的视频片段，以及关于视觉内容的自然语言问题。
• 共定义了28种子类型，涵盖8个类别，包括存在性、计数、颜色、位置和比较类问题。
• 在数据集上微调了多种VQA模型，包括LSTM、BoW、Concat-CNN2D/3D、FiLM-GP/AT、多跳网络和MAC网络。
• 使用标准VQA指标评估模型性能，包括二分类（是/否）、开放式（其他）和数值类（数值）问题的准确率。
• 按问题类别分析性能，以评估模型在特定推理子任务中的优势与不足。

实验结果

研究问题

• RQ1 当从EQA任务中移除导航后，现有VQA模型能否在复杂视觉推理任务上取得优异表现？
• RQ2 在3D视频环境中，VQA模型在不同类型视觉推理问题上的表现如何变化？
• RQ3 在该新基准上，仅语言模型与视觉-语言模型之间的性能差距有多大？
• RQ4 哪些模型架构在捕捉视频推理中的时空上下文方面最为有效？
• RQ5 视觉输入质量（即最优轨迹）在无导航挑战的条件下，能在多大程度上促进视觉推理？

主要发现

• 表现最佳的模型Concat-CNN2D在完整VideoNavQA测试集上达到64.47%的准确率，显著优于基线BoW模型（49.02%）。
• FiLM-AT和FiLM-GP模型分别取得64.08%和63.79%的准确率，显示出在复杂推理任务中的强劲表现。
• MAC网络在物体位置和计数问题上表现最佳，准确率超过50%，同时在颜色识别任务中也优于其他模型。
• 所有模型在存在性问题上的得分最高（准确率超过70%），而物体类型识别仍是最具挑战性的类别。
• 时间多跳模型相比LSTM高出7%，准确率达到63.53%，表明其在处理序列视觉输入时推理能力更优。
• Concat-CNN2D在是/否问题和开放式问题类型中表现最佳，准确率分别为73.50%和49.20%，显示出在二元与开放式查询中的强大泛化能力。