[论文解读] ObjectNav Revisited: On Evaluation of Embodied Agents Navigating to Objects

Dhruv Batra, Aaron Gokaslan+6 more|arXiv (Cornell University)|Jun 23, 2020

Multimodal Machine Learning Applications参考文献 18被引用 129

一句话总结

本文为 ObjectNav 评估、 embodiment 与环境提供共识性建议，并详细说明它们在 Habitat 与 RoboTHOR 2020 挑战中的实例化。

ABSTRACT

We revisit the problem of Object-Goal Navigation (ObjectNav). In its simplest form, ObjectNav is defined as the task of navigating to an object, specified by its label, in an unexplored environment. In particular, the agent is initialized at a random location and pose in an environment and asked to find an instance of an object category, e.g., find a chair, by navigating to it. As the community begins to show increased interest in semantic goal specification for navigation tasks, a number of different often-inconsistent interpretations of this task are emerging. This document summarizes the consensus recommendations of this working group on ObjectNav. In particular, we make recommendations on subtle but important details of evaluation criteria (for measuring success when navigating towards a target object), the agent's embodiment parameters, and the characteristics of the environments within which the task is carried out. Finally, we provide a detailed description of the instantiation of these recommendations in challenges organized at the Embodied AI workshop at CVPR 2020 http://embodied-ai.org .

研究动机与目标

• 为 ObjectNav（导航到对象）定义精确的评估标准，以便在不同方法之间进行公平比较。
• 澄清在 ObjectNav 中所使用的智能体 embodiment（动作、观测）和环境特征。
• 推荐在现实环境中用于基准测试 ObjectNav 的合适数据集、3D 环境和平台。
• 通过详述挑战中使用的实现，促进 ObjectNav 研究的一致性和系统性基准评估。

提出的方法

• 提出一个结构化的 ObjectNav 任务定义，包括 Object Finding 与 Evaluation、Embodiment 与 Environments。
• 定义 ObjectNav 的成功标准（Intentionality、Validity、Proximity、Visibility）以及带有对其已知问题讨论的 ObjectNav-SPL 指标。
• 推荐采用离散化动作和真实传感器的 embodiment 设计，避免完整机械动力学，但保留规划难度。
• 提倡使用大规模、照片真实感的 3D 扫描（Matterport3D、Gibson、AI2-THOR/RoboTHOR）以及基于对象类别的目标（例如 chair、table）。
• 描述如何在 Habitat 2020 与 RoboTHOR 2020 挑战中实例化这些建议，包括智能体规格、传感器集合和阶段结构。

实验结果

研究问题

• RQ1 在不同 embodiment 和环境中，什么构成对 ObjectNav 的稳健且公平的评估协议？
• RQ2 应如何定义 ObjectNav 的成功以反映真正的导航到达对象的能力？
• RQ3 哪些 embodiment 与观测配置在现实性与可研究基准的可行性之间取得最佳平衡？
• RQ4 哪些环境和对象类别能为 ObjectNav 研究提供现实、可迁移的基准？
• RQ5 挑战（Habitat 与 RoboTHOR）如何将这些建议落地到一致的基准测试中？

主要发现

• 提出一个多标准的成功定义：Intentionality、Validity、Proximity 和 Visibility，在一个定义好的成功区域内。
• 强调 SPL 的局限性：坏算未区分失败、方差高、转向不惩罚，以及跨数据集比较的问题；将来需要新的评估指标。
• 推荐离散化的行动空间和现实传感器（RGB-D，GPS+Compass），避免完整的机器人动力学。
• 倡导使用照片真实感的 3D 扫描（Matterport3D、Gibson、AI2-THOR/RoboTHOR）并以对象类别目标和多样的室内环境。
• 为 Habitat 2020 提供具体实例化（场景/对象选择、智能体规格和挑战阶段）以及为 RoboTHOR 2020 提供具体实例化（仿真到现实的设置、阶段与评估标准）。
• 记录已知的碰撞动力学问题（滑动）及对策（禁用滑动）以防止仿真中的“作弊”。