[论文解读] Scene-Intuitive Agent for Remote Embodied Visual Grounding

Xiangru Lin, Guanbin Li+1 more|arXiv (Cornell University)|Mar 24, 2021

Multimodal Machine Learning Applications参考文献 46被引用 4

一句话总结

本文提出了一种面向远程具身视觉定位任务（REVERIE）的场景直觉智能体，采用两阶段训练流程：首先在场景定位与物体定位任务上进行预训练，以学习高层指令理解能力；随后使用记忆增强的注意力动作解码器生成导航策略。该方法实现了最先进性能，在Val Seen上SPL提升11.58%，在Val Unseen上提升9.09%。

ABSTRACT

Humans learn from life events to form intuitions towards the understanding of visual environments and languages. Envision that you are instructed by a high-level instruction, "Go to the bathroom in the master bedroom and replace the blue towel on the left wall", what would you possibly do to carry out the task? Intuitively, we comprehend the semantics of the instruction to form an overview of where a bathroom is and what a blue towel is in mind; then, we navigate to the target location by consistently matching the bathroom appearance in mind with the current scene. In this paper, we present an agent that mimics such human behaviors. Specifically, we focus on the Remote Embodied Visual Referring Expression in Real Indoor Environments task, called REVERIE, where an agent is asked to correctly localize a remote target object specified by a concise high-level natural language instruction, and propose a two-stage training pipeline. In the first stage, we pretrain the agent with two cross-modal alignment sub-tasks, namely the Scene Grounding task and the Object Grounding task. The agent learns where to stop in the Scene Grounding task and what to attend to in the Object Grounding task respectively. Then, to generate action sequences, we propose a memory-augmented attentive action decoder to smoothly fuse the pre-trained vision and language representations with the agent's past memory experiences. Without bells and whistles, experimental results show that our method outperforms previous state-of-the-art(SOTA) significantly, demonstrating the effectiveness of our method.

研究动机与目标

• 为解决在真实室内环境中，基于高层自然语言指令导航并定位远程物体的挑战。
• 设计一种智能体，通过常识知识与视觉上下文推理‘去哪’和‘关注什么’，以模拟人类直觉。
• 提升在未见环境中的泛化能力与导航效率，克服现有模型在细粒度指令上训练所导致的局限性。
• 开发一种两阶段训练框架，在端到端策略学习前进行视觉-语言对齐的预训练。

提出的方法

• 提出两阶段训练流程：在场景定位与物体定位任务上进行预训练，随后使用记忆增强解码器进行动作解码。
• 引入场景定位任务，通过跨模态对比学习识别与高层指令对齐的正确视角。
• 引入物体定位任务，用于在给定视角下从候选对象中定位目标物体，增强对相关视觉特征的关注。
• 采用记忆增强的注意力动作解码器，融合视觉特征、语言表征与循环记忆状态，生成动作序列。
• 使用多任务损失函数，结合交叉熵、策略梯度与强化学习目标，联合优化导航与定位。
• 采用基于ViLBERT的编码器进行视觉-语言表征联合学习，并通过logit融合提升定位准确性。

实验结果

研究问题

• RQ1 在场景与物体定位任务上进行预训练，是否能提升高层指令导航中的零样本泛化能力？
• RQ2 在模糊且高层级指令下，集成记忆增强注意力机制在长时程导航中是否表现更优？
• RQ3 在REVERIE基准上，该方法在成功率与路径效率方面相较于现有最先进模型的提升程度如何？
• RQ4 将定位后的视觉与语言表征与记忆状态融合，是否能带来更鲁棒、更准确的目标定位？

主要发现

• 与先前最先进方法相比，该方法在Val Seen上SPL提升11.58%，在Val Unseen上提升9.09%。
• 在RG SPL指标上，该方法在Val Seen上提升12.99%，在Val Unseen上提升6.89%，表明定位准确率与导航成功率更高。
• 物体定位模型在准确率上超过先前最先进方法10%以上，证明了其强大的跨模态对齐能力。
• 场景定位模型在识别正确目标视角方面表现出高准确率，验证了其推理高层空间指令的能力。
• 记忆增强动作解码器在保持高成功率的同时，减少了平均导航轨迹长度，尤其在长路径上表现更优。
• 实验表明，将多个头（g_{sg}、g_{og}与l_{τ}）的引导信息相加，可提升鲁棒性并减少目标搜索中的偏差。