[论文解读] PLGRIM: Hierarchical Value Learning for Large-scale Exploration in Unknown Environments

Sung-Kyun Kim, Amanda Bouman+5 more|arXiv (Cornell University)|Feb 10, 2021

Bayesian Modeling and Causal Inference被引用 7

一句话总结

PLGRIM 提出了一种分层信念空间规划框架，用于在未知、无GPS信号的环境中进行大规模自主探索，通过结合局部风险感知覆盖与全局奖励追求目标实现。利用空间划分的信息路网（IRMs）和滚动时域规划，该方法在复杂地形中实现了可扩展的、近似最优的探索，其在仿真和真实熔岩管测试中均优于基线方法，在60分钟内实现了95%的覆盖率。

ABSTRACT

In order for an autonomous robot to efficiently explore an unknown environment, it must account for uncertainty in sensor measurements, hazard assessment, localization, and motion execution. Making decisions for maximal reward in a stochastic setting requires value learning and policy construction over a belief space, i.e., probability distribution over all possible robot-world states. However, belief space planning in a large spatial environment over long temporal horizons suffers from severe computational challenges. Moreover, constructed policies must safely adapt to unexpected changes in the belief at runtime. This work proposes a scalable value learning framework, PLGRIM (Probabilistic Local and Global Reasoning on Information roadMaps), that bridges the gap between (i) local, risk-aware resiliency and (ii) global, reward-seeking mission objectives. Leveraging hierarchical belief space planners with information-rich graph structures, PLGRIM addresses large-scale exploration problems while providing locally near-optimal coverage plans. We validate our proposed framework with high-fidelity dynamic simulations in diverse environments and on physical robots in Martian-analog lava tubes.

研究动机与目标

• 解决在不确定条件下大规模、长时程探索中信念空间规划的计算不可行性。
• 弥合自主探索中局部风险感知鲁棒性与全局奖励追求任务目标之间的差距。
• 实现可实时、自适应的策略执行，使规划决策与运行时信念变化相协调。
• 支持在复杂、无GPS环境（如洞穴和地下结构）中实现高保真、长时程覆盖。
• 在高保真仿真和火星类地环境中的实体机器人上验证该框架。

提出的方法

• 该框架通过信息路网（IRMs）对信念空间进行分层分解，将空间划分为局部和全局层级，以管理计算复杂度。
• 局部规划使用滚动时域POMDP求解器，在任务相关的空间分区内生成近似最优、风险感知的覆盖路径。
• 全局规划通过高分辨率世界信念表示来指导长时程决策，确保全局完备性。
• 通过级联POMDP求解器架构，实现对长时序范围内的高效策略搜索，通过在空间和时间尺度上近似信念状态。
• 通过基于滚动时域规划（RHP）的技术实现运行时自适应，使策略决策与更新的状态估计和传感器数据相协调。
• IRM结构编码了环境地图估计和可通行性信念，支持高效的信念传播和动作选择。

实验结果

研究问题

• RQ1 如何在保持计算可行性的前提下，将信念空间规划扩展到大空间范围（>1 km）和长时程（>1 小时）？
• RQ2 如何在分层框架中整合局部风险感知策略与全局奖励追求目标，以实现自主探索？
• RQ3 分层信念表示与滚动时域规划在复杂未知环境中在覆盖效率和鲁棒性方面能提升到何种程度？
• RQ4 该框架在物理机器人执行过程中面对真实世界的随机性与动态信念更新时表现如何？
• RQ5 在大规模、拓扑复杂的环境中，该方法是否能优于贪心的前沿探索方法和无模型强化学习方法？

主要发现

• 在模拟地铁环境中，PLGRIM 在60分钟内实现了95%的覆盖率，显著优于NBV和HFE方法，后者因陷入局部极小值和低效绕行而表现不佳。
• 在复杂的迷宫和洞穴模拟中，PLGRIM 通过规避危险地形并防止机器人被困，保持了超过90%的高覆盖率，而NBV由于确定性路径规划导致无法运行。
• HFE因表示稀疏而表现出不一致的性能，导致前沿检测次优，并在狭窄蜿蜒通道中出现耗时的回溯。
• 在Lava Beds National Monument的Au-Spot真实测试中，PLGRIM 在60分钟内实现了对洞穴环境95%的覆盖率，证明了其在自然非结构化地形中的鲁棒性。
• 该框架成功协调了规划阶段与运行时信念变化，实现了无需重规划失败或性能下降的自适应执行。
• PLGRIM的分层信念表示实现了高效的长时程规划，在降低计算负担的同时保持了高保真世界状态估计。