[论文解读] To Learn or Not to Learn: Analyzing the Role of Learning for Navigation in Virtual Environments

Noriyuki Kojima, Jia Deng|arXiv (Cornell University)|Jul 26, 2019

Robotic Path Planning Algorithms参考文献 38被引用 15

一句话总结

本文比较了虚拟环境中经典导航智能体与基于学习的导航智能体，为 MINOS 和 S3DIS 基准构建了经典智能体。研究发现，经典智能体在碰撞避免和记忆管理方面优于最先进的一维学习智能体（UNREAL、CMP），而学习智能体在处理模糊性和噪声方面表现更优，揭示了未来智能体设计中的关键权衡。

ABSTRACT

In this paper we compare learning-based methods and classical methods for navigation in virtual environments. We construct classical navigation agents and demonstrate that they outperform state-of-the-art learning-based agents on two standard benchmarks: MINOS and Stanford Large-Scale 3D Indoor Spaces. We perform detailed analysis to study the strengths and weaknesses of learned agents and classical agents, as well as how characteristics of the virtual environment impact navigation performance. Our results show that learned agents have inferior collision avoidance and memory management, but are superior in handling ambiguity and noise. These results can inform future design of navigation agents.

研究动机与目标

• 评估并比较虚拟环境中经典导航智能体与最先进学习型智能体的性能。
• 通过详细性能指标诊断经典智能体与学习智能体的优势与劣势。
• 研究环境特征（模糊性与复杂性）对导航性能的影响。
• 为未来鲁棒导航智能体的设计及更优基准环境的构建提供洞见。

提出的方法

• 为 MINOS 和 S3DIS 环境构建了基于映射器、定位器、规划器和控制器模块的经典导航智能体。
• 将二维蒙特卡洛（2D-MC）智能体作为理想化基线，利用真实占用率和墙体地图感知可见空间与障碍物。
• 将前沿区域定义为已观测自由空间与未观测区域之间的边界，并基于邻域概率加权从这些前沿区域中选择子目标。
• 使用 A* 路径规划算法，根据可见自由空间与障碍物计算前往子目标的动作，动作空间与原始任务规范保持一致。
• 引入两种环境度量：由于部分观测导致的模糊性，以及由于物理操作需求带来的复杂性。
• 在两个标准基准（MINOS 和 S3DIS）上进行直接比较，使用成功率、SPL 及自定义诊断指标。

实验结果

研究问题

• RQ1 在标准基准上，经典导航智能体与最先进学习型智能体的整体导航性能如何比较？
• RQ2 学习智能体与经典智能体在碰撞避免、记忆管理及噪声处理方面的具体优势与劣势是什么？
• RQ3 模糊性与复杂性等环境特征如何影响导航性能？
• RQ4 学习智能体在多大程度上利用了环境规律，并相较于经典智能体更好地处理了感知噪声？

主要发现

• 在 MINOS 和 S3DIS 基准上，经典导航智能体在成功率和 SPL 指标上显著优于学习智能体（UNREAL 和 CMP）。
• 学习智能体在碰撞避免与记忆管理方面表现逊于经典智能体，尤其在长期空间一致性保持方面。
• 学习智能体在感知噪声鲁棒性方面表现更优，且更善于利用环境规律，尤其在模糊或部分观测环境中。
• 研究发现，学习智能体在高模糊性环境中表现更优，因其能从噪声或不完整观测中泛化。
• 在需要精确物理操作的复杂环境中，学习智能体优于经典智能体，表明复杂性与学习能力之间存在权衡。
• 所提出的模糊性与复杂性度量有效量化了环境的内在难度，并与智能体性能差异显著相关。