[论文解读] Object-and-Action Aware Model for Visual Language Navigation

Yuankai Qi, Zizheng Pan+3 more|arXiv (Cornell University)|Jul 29, 2020

Multimodal Machine Learning Applications参考文献 20被引用 7

一句话总结

该论文提出了一种面向视觉-语言导航的物体与动作感知模型（OAAM），通过使用专用注意力模块分别编码物体和动作指令，实现了对视觉感知与朝向的更精准语言对齐。该方法在未见环境中的R2R数据集上达到50%的SPL，在R4R数据集上达到40%的CLS，性能达到当前最先进水平，其优势得益于一种新型路径损失，可鼓励生成最短路径轨迹。

ABSTRACT

Vision-and-Language Navigation (VLN) is unique in that it requires turning relatively general natural-language instructions into robot agent actions, on the basis of the visible environment. This requires to extract value from two very different types of natural-language information. The first is object description (e.g., 'table', 'door'), each presenting as a tip for the agent to determine the next action by finding the item visible in the environment, and the second is action specification (e.g., 'go straight', 'turn left') which allows the robot to directly predict the next movements without relying on visual perceptions. However, most existing methods pay few attention to distinguish these information from each other during instruction encoding and mix together the matching between textual object/action encoding and visual perception/orientation features of candidate viewpoints. In this paper, we propose an Object-and-Action Aware Model (OAAM) that processes these two different forms of natural language based instruction separately. This enables each process to match object-centered/action-centered instruction to their own counterpart visual perception/action orientation flexibly. However, one side-issue caused by above solution is that an object mentioned in instructions may be observed in the direction of two or more candidate viewpoints, thus the OAAM may not predict the viewpoint on the shortest path as the next action. To handle this problem, we design a simple but effective path loss to penalize trajectories deviating from the ground truth path. Experimental results demonstrate the effectiveness of the proposed model and path loss, and the superiority of their combination with a 50% SPL score on the R2R dataset and a 40% CLS score on the R4R dataset in unseen environments, outperforming the previous state-of-the-art.

研究动机与目标

• 解决在视觉导航中对多样化自然语言指令进行语言对齐的挑战，其中物体描述与动作指令需要分别处理。
• 克服现有模型中物体与动作编码混合导致的视觉与朝向特征对齐不佳的问题。
• 通过显式建模视觉感知（用于物体）与方向性动作（用于移动）之间的区别，提升在未见环境中的导航鲁棒性。
• 通过引入一种路径损失，减轻当多个视角包含目标物体时导致的次优轨迹选择问题，该损失惩罚与真实最优路径的偏离。
• 在标准VLN基准上实现最先进性能，尤其在零样本泛化至未见环境方面表现优异。

提出的方法

• 使用两个可学习的注意力模块，分别突出自然语言指令中与物体相关和与动作相关的短语。
• 利用物体感知注意力图，指导指令短语与候选视角视觉特征之间的匹配（物体-视觉匹配）。
• 利用动作感知注意力图，指导指令短语与朝向嵌入之间的匹配（动作-朝向匹配），且独立于视觉感知。
• 通过一种动态注意力机制，将物体-视觉与动作-朝向模块的输出进行融合，该机制同时关注指令与视觉上下文。
• 引入一种基于L2距离的路径损失，计算智能体当前位置与最优路径上最近真实视角之间的距离，以鼓励生成最短路径。
• 采用端到端的模仿学习进行训练，损失函数包含交叉熵与路径损失，同时优化准确率与轨迹效率。

实验结果

研究问题

• RQ1 在语言指令中分离物体描述与动作说明的编码，是否能提升视觉对齐与导航性能？
• RQ2 一种将物体与动作信息独立处理的模块化架构，是否能带来在未见环境中的更好泛化能力？
• RQ3 一种路径感知损失函数是否能有效减少轨迹偏离，提升导航效率，而无需完全依赖准确率指标？
• RQ4 在标准VLN基准上，所提出的OAAM模型与当前最先进方法相比，在成功率、SPL与CLS指标上的表现如何？
• RQ5 各个独立组件（物体感知、动作感知及融合模块）对最终导航成功程度的贡献程度如何？

主要发现

• OAAM模型在未见环境下的R2R数据集上达到50%的SPL得分，创下新的SOTA性能记录。
• 在R4R数据集上，该模型在未见环境中的CLS得分为40%，较第二名高出3%，创下新的SOTA记录。
• 在R4R数据集的未见划分上，该模型相较强基线EnvDrop的CLS性能最高提升达6%。
• 消融实验证实，物体与动作感知设计以及路径损失均为实现最优性能所必需，其组合效果最佳。
• 定性分析表明，即使在中间步骤中单个模块（OA或AA）预测错误，由于自适应融合机制的存在，最终动作预测仍能保持正确。
• 路径损失有效减少了轨迹偏离，表现为与基线相比轨迹长度（TL）更低，即使准确率指标相近。