[论文解读] Towards Learning Efficient Maneuver Sets for Kinodynamic Motion Planning

Aravind Sivaramakrishnan, Zakary Littlefield+1 more|arXiv (Cornell University)|Jul 18, 2019

Robotic Path Planning Algorithms参考文献 7被引用 4

一句话总结

本文提出使用通过神经网络生成的可学习行为集，以增强像DIRT这样的动力学运动规划器，平衡利用（目标导向）与探索（多样化方向覆盖）。通过训练全连接网络和卷积网络，从局部障碍物和启发式数据中预测有效行为，该方法减少了求解时间和成本，其中FC（All）模型在模拟环境中实现了最快收敛速度和最佳最终解质量。

ABSTRACT

Planning for systems with dynamics is challenging as often there is no local planner available and the only primitive to explore the state space is forward propagation of controls. In this context, tree sampling-based planners have been developed, some of which achieve asymptotic optimality by propagating random controls during each iteration. While desirable for the analysis, random controls result in slow convergence to high quality trajectories in practice. This short position statement first argues that if a kinodynamic planner has access to local maneuvers that appropriately balance an exploitation-exploration trade-off, the planner's per iteration performance is significantly improved. Generating such maneuvers during planning can be achieved by curating a large sample of random controls. This is, however, computationally very expensive. If such maneuvers can be generated fast, the planner's performance will also improve as a function of computation time. Towards objective, this short position statement argues for the integration of modern machine learning frameworks with state-of-the-art, informed and asymptotically optimal kinodynamic planners. The proposed approach involves using using neural networks to infer local maneuvers for a robotic system with dynamics, which properly balance the above exploitation-exploration trade-off. In particular, a neural network architecture is proposed, which is trained to reflect the choices of an online curation process, given local obstacle and heuristic information. The planner uses these maneuvers to efficiently explore the underlying state space, while still maintaining desirable properties. Preliminary indications in simulated environments and systems are promising but also point to certain challenges that motivate further research in this direction.

研究动机与目标

• 通过用学习到的、有信息量的行为替代随机控制采样，提升渐近最优动力学规划器的效率。
• 通过引入学习到的利用-探索权衡，解决基于树的规划器中随机控制传播的收敛缓慢问题。
• 开发一个机器学习流程，从局部状态信息（障碍物和启发式引导）中推断高质量行为。
• 将神经网络集成到最先进规划器（如DIRT）中，以加速收敛，同时保持渐近最优性。
• 在多样化环境中评估学习行为对首次解速度和最终解质量的影响。

提出的方法

• 训练神经网络，从局部状态特征（障碍物图和启发式图）中预测一组5个行为（1个利用性，4个探索性）。
• 在DIRT规划器执行过程中，通过在线收集1,000个随机控制，为每个状态生成最优行为的标注数据集。
• 采用两种网络架构：全连接（FC）和卷积（Conv），从局部空间特征中预测行为集。
• 将预测的行为集成到DIRT规划器中，在树扩展过程中优先使用，以引导更快收敛。
• 在评估中使用到目标的欧氏距离作为启发式函数，轨迹持续时间作为成本函数。
• 在两种环境中进行训练和评估：一种是启发式引导有效的“贪婪”环境，另一种是贪婪行为会失效的“探索”环境。

实验结果

研究问题

• RQ1 学习到的行为集是否能显著减少动力学运动规划中找到解所需的迭代次数？
• RQ2 与使用随机控制的规划器相比，使用学习行为的规划器在解成本和收敛速度方面表现如何？
• RQ3 在学习行为集中同时使用利用性和探索性行为，是否能提升复杂环境中规划器的鲁棒性？
• RQ4 不同神经网络架构（FC与Conv）如何影响生成行为的效率和质量？
• RQ5 在实时规划中，使用学习行为与随机控制相比，在计算和碰撞相关方面存在哪些权衡？

主要发现

• 在‘Explore’环境中，DIRT-FC（All）模型实现了找到首个解所需的最少迭代次数（1,876.67）和最佳最终解成本（130.92）。
• 在‘Greedy’环境中，DIRT-FC（All）模型在620次迭代内找到首个解，并达到最低最终成本（45.47），优于随机控制和单模式预测。
• 仅使用利用性控制（如DIRT-FC（Exploit））在‘Explore’环境中部分运行中导致失败，表明探索不足。
• 全连接网络的推理速度优于随机控制采样，尽管在无GPU加速时卷积网络速度更慢。
• 学习到的行为有效引导了机器人，但导致的碰撞次数多于预期，表明需要改进训练以优先考虑无碰撞路径。
• 当前神经网络推理成本高于随机控制采样，表明需要硬件加速或模型压缩以实现实时部署。