[论文解读] Multi-Target Embodied Question Answering

Licheng Yu, Xinlei Chen+4 more|arXiv (Cornell University)|Apr 9, 2019

Multimodal Machine Learning Applications参考文献 32被引用 8

一句话总结

本文提出了多目标具身问答（MT-EQA），这是对传统具身问答（EQA）的推广，要求智能体导航至多个位置，并对颜色、大小和距离等属性进行比较推理。作者提出了一种模块化架构，包含程序生成器、导航器、控制器和VQA模块，在强化学习微调后，EQ A准确率达到61.45%，显著优于基线模型。

ABSTRACT

Embodied Question Answering (EQA) is a relatively new task where an agent is asked to answer questions about its environment from egocentric perception. EQA makes the fundamental assumption that every question, e.g., "what color is the car?", has exactly one target ("car") being inquired about. This assumption puts a direct limitation on the abilities of the agent. We present a generalization of EQA - Multi-Target EQA (MT-EQA). Specifically, we study questions that have multiple targets in them, such as "Is the dresser in the bedroom bigger than the oven in the kitchen?", where the agent has to navigate to multiple locations ("dresser in bedroom", "oven in kitchen") and perform comparative reasoning ("dresser" bigger than "oven") before it can answer a question. Such questions require the development of entirely new modules or components in the agent. To address this, we propose a modular architecture composed of a program generator, a controller, a navigator, and a VQA module. The program generator converts the given question into sequential executable sub-programs; the navigator guides the agent to multiple locations pertinent to the navigation-related sub-programs; and the controller learns to select relevant observations along its path. These observations are then fed to the VQA module to predict the answer. We perform detailed analysis for each of the model components and show that our joint model can outperform previous methods and strong baselines by a significant margin.

研究动机与目标

• 将传统具身问答（EQA）从单目标扩展到需要进行属性比较推理的多目标问题。
• 构建一个新的MT-EQA基准数据集，包含涉及多个位置和属性比较的问题。
• 设计并评估一种能够处理具身环境中复杂、组合性问题的模块化智能体架构。
• 通过消融研究，分离并分析各组件（程序生成器、控制器、导航器、VQA模块）的贡献。

提出的方法

• 程序生成器将自然语言问题转换为可执行的子程序序列，例如导航操作和属性比较操作。
• 导航器使用强化学习，根据子程序引导智能体前往目标位置，episode长度反映导航效率。
• 控制器处理路径上的第一人称观测，预测目标是否已到达，并选择关键帧用于属性提取。
• 控制器在正确时刻提取相关视觉特征（如颜色、大小），并将其输入VQA模块进行比较。
• VQA模块使用目标特征的分解表示，执行属性比较（如equal_color、bigger_than）。
• 完整模型通过端到端强化学习微调进行联合训练，提升导航与问答准确率。

实验结果

研究问题

• RQ1 具身智能体能否有效回答涉及多个目标及颜色、大小、距离等属性比较推理的问题？
• RQ2 模块化组件（程序生成器、控制器、导航器、VQA）在多目标EQA中的性能贡献如何？
• RQ3 通过控制器将导航与VQA任务分离，是否能带来优于端到端或注意力基线模型的性能？
• RQ4 与使用所有帧或最终帧相比，控制器预测的帧选择质量如何影响VQA准确率？
• RQ5 强化学习微调在MT-EQA设置中在多大程度上提升了导航效率与整体EQA准确率？

主要发现

• 在强化学习微调后，完整模型的EQ A准确率达到61.45%，显著高于54.44%的基线模型。
• 控制器模块至关重要：移除后所有指标性能均下降，表明将导航与VQA解耦有助于学习。
• 当提供最优帧时，VQA模块相比注意力基线模型高出13.64%，因其能有效分解并比较属性。
• 控制器预测的帧选择使VQA准确率提升13%（相比最优时刻），但仍落后于理想情况，表明帧选择仍有改进空间。
• 较简单的问题（路径更短）准确率达到72.22%，而更复杂的跨房间问题仅达54.92%，凸显长轨迹带来的挑战。
• 导航器的路径长度与性能相关：路径越短，准确率越高，且强化学习微调显著减少了平均episode长度。