[论文解读] SOON: Scenario Oriented Object Navigation with Graph-based Exploration

Fengda Zhu, Xiwen Liang+3 more|arXiv (Cornell University)|Mar 31, 2021

Multimodal Machine Learning Applications参考文献 51被引用 5

一句话总结

本文提出了面向场景的物体导航（SOON），这是一种新任务，要求智能体仅根据场景的自然语言描述，从3D环境中的任意起点导航至目标物体。作者提出了基于图的探索（GBE），通过将环境建模为动态图来提升训练稳定性和泛化能力，在FAO和R2R基准上均取得最先进性能，相较于之前的方法实现5.4%的SPL提升。

ABSTRACT

The ability to navigate like a human towards a language-guided target from anywhere in a 3D embodied environment is one of the 'holy grail' goals of intelligent robots. Most visual navigation benchmarks, however, focus on navigating toward a target from a fixed starting point, guided by an elaborate set of instructions that depicts step-by-step. This approach deviates from real-world problems in which human-only describes what the object and its surrounding look like and asks the robot to start navigation from anywhere. Accordingly, in this paper, we introduce a Scenario Oriented Object Navigation (SOON) task. In this task, an agent is required to navigate from an arbitrary position in a 3D embodied environment to localize a target following a scene description. To give a promising direction to solve this task, we propose a novel graph-based exploration (GBE) method, which models the navigation state as a graph and introduces a novel graph-based exploration approach to learn knowledge from the graph and stabilize training by learning sub-optimal trajectories. We also propose a new large-scale benchmark named From Anywhere to Object (FAO) dataset. To avoid target ambiguity, the descriptions in FAO provide rich semantic scene information includes: object attribute, object relationship, region description, and nearby region description. Our experiments reveal that the proposed GBE outperforms various state-of-the-arts on both FAO and R2R datasets. And the ablation studies on FAO validates the quality of the dataset.

研究动机与目标

• 为填补现实世界导航中的空白，提出一项新任务：智能体仅凭场景描述，从任意起始位置寻找目标物体。
• 设计一个包含3,000条多样化、无歧义的自然语言指令的基准FAO，用于描述物体属性、关系及空间区域。
• 开发一种基于图的探索方法（GBE），以提升复杂、开放式导航任务中的训练稳定性和策略泛化能力。
• 通过消融研究和性能对比，验证FAO数据集的独特性和质量。
• 证明通过图式推理结合模仿学习与强化学习，可在SOON和R2R任务上实现更优性能。

提出的方法

• GBE将智能体的导航状态建模为动态图，其中节点表示视觉和语言观测，边编码空间与语义关系。
• 该方法采用图动作空间，将多个离散动作合并为单步决策，降低预测复杂度并提升训练稳定性。
• GBE通过利用次优轨迹，结合模仿学习与强化学习，以稳定策略学习并避免过拟合。
• 随着智能体持续探索，图结构被逐步更新，从而实现长距离记忆与跨多样化环境的上下文推理。
• 模型采用图神经网络（GNN）聚合特征，并基于动态演化的图结构预测导航动作。
• 引入一种新型辅助任务，以增强特征表示学习，提升在未见环境中的泛化能力。

Figure 1 : An example of the navigation process in SOON. An agent receives a complex natural language instruction consisting of multiple kinds of descriptions (left-hand side). During the agent navigates among different rooms, it searches a larger-scale area first, then gradually narrows down the se

实验结果

研究问题

• RQ1 当智能体仅凭自然语言场景描述从3D环境中的任意位置出发时，能否实现鲁棒且可泛化的导航性能？
• RQ2 基于图的环境建模在开放式导航任务中如何提升训练稳定性和策略泛化能力？
• RQ3 视觉与语言模态在解决SOON任务中的贡献程度如何？指令的粒度如何影响性能表现？
• RQ4 通过图式探索结合模仿学习与强化学习，是否能优于单独使用任一方法？
• RQ5 所提出的FAO基准相较于现有基准，在真实性、歧义性与泛化能力方面表现如何？

主要发现

• 所提出的GBE方法在R2R基准上相较最先进模型实现5.4%的SPL提升，证明其具备更优的泛化能力与鲁棒性。
• 在FAO基准上，GBE模型相较非图基基线模型，实现0.7%更高的最优成功率、0.5%更高的成功率、1.5%更高的SPL以及0.6%更高的SFPL。
• 人类在FAO上的表现显著优于所有模型，表明存在较大的人机性能差距，凸显该新任务的挑战性。
• 消融研究证实，视觉与语言模态均不可或缺，且在SOON设定中视觉信息比语言更具信息量。
• 在完整指令粒度（包含物体名称、属性、关系及区域描述）下训练的模型优于输入受限的模型，且重写指令的模型表现最佳。
• 在仅包含物体名称的ObjectGoal基线数据集上训练的模型，性能劣于使用更丰富场景描述的模型，证实物体歧义性与上下文缺失会阻碍导航性能。

Figure 2 : An example of annotating instructions in 6 steps.