[论文解读] STORM: An Integrated Framework for Fast Joint-Space Model-Predictive Control for Reactive Manipulation

Mohak Bhardwaj, Balakumar Sundaralingam+5 more|arXiv (Cornell University)|Apr 27, 2021

Advanced Control Systems Optimization被引用 23

一句话总结

STORM 提出了一种基于GPU加速的、联合空间采样模型预测控制框架，通过整合平滑轨迹优化、约束处理和学习型感知，实现了对高维机器人实时、动态的操控。该框架在Franka Panda机械臂上实现了125Hz的控制频率（8ms延迟），支持任务空间目标、关节限位、奇异性规避以及从原始点云中学习的碰撞检测。

ABSTRACT

Sampling-based model-predictive control (MPC) is a promising tool for feedback control of robots with complex, non-smooth dynamics, and cost functions. However, the computationally demanding nature of sampling-based MPC algorithms has been a key bottleneck in their application to high-dimensional robotic manipulation problems in the real world. Previous methods have addressed this issue by running MPC in the task space while relying on a low-level operational space controller for joint control. However, by not using the joint space of the robot in the MPC formulation, existing methods cannot directly account for non-task space related constraints such as avoiding joint limits, singular configurations, and link collisions. In this paper, we develop a system for fast, joint space sampling-based MPC for manipulators that is efficiently parallelized using GPUs. Our approach can handle task and joint space constraints while taking less than 8ms~(125Hz) to compute the next control command. Further, our method can tightly integrate perception into the control problem by utilizing learned cost functions from raw sensor data. We validate our approach by deploying it on a Franka Panda robot for a variety of dynamic manipulation tasks. We study the effect of different cost formulations and MPC parameters on the synthesized behavior and provide key insights that pave the way for the application of sampling-based MPC for manipulators in a principled manner. We also provide highly optimized, open-source code to be used by the wider robot learning and control community. Videos of experiments can be found at: https://sites.google.com/view/manipulation-mpc

研究动机与目标

• 通过在联合空间中采用基于采样的模型预测控制，实现实时、动态的高维机械臂操作。
• 通过利用GPU并行化技术，克服基于采样的MPC在计算上的瓶颈，实现联合空间优化。
• 将任务空间目标、关节限位、奇异性规避以及从原始传感器数据中学习的碰撞成本整合到统一的控制框架中。
• 实现低延迟、平滑且满足约束的控制轨迹，适用于实际部署。
• 提供开源、高度优化的实现，以促进机器人学习与控制领域的广泛应用。

提出的方法

• 全张量化的运动学模型使得在MPC优化过程中能够高效地进行GPU加速的控制轨迹滚动。
• 采用低差异采样策略，以提高高维动作空间中采样的效率和收敛性。
• 通过插值和代价函数设计实现平滑轨迹生成，惩罚高加加速度并促进运动连续性。
• 基于神经网络的检测器从原始点云数据中提取学习型自碰撞和环境碰撞代价，并直接集成到MPC代价函数中。
• MPC框架运行于联合空间，可直接施加关节限位、奇异性规避和连杆碰撞约束。
• 系统采用随机策略并结合基于样本的梯度估计（如MPPI风格），以在复杂且不可微的代价函数下优化控制序列。

实验结果

研究问题

• RQ1 基于采样的MPC在联合空间中是否能实现实时性能（≤8ms）的高维机械臂操作，同时保持平滑、动态响应且满足约束的轨迹？
• RQ2 低差异采样在提高高维联合空间MPC的收敛性并减少样本数量方面效果如何？
• RQ3 学习型感知组件（如从原始点云中进行碰撞检测）在多大程度上能与MPC环路紧密集成，以提升鲁棒性？
• RQ4 不同代价函数设计（如任务目标、平滑性、约束惩罚）对动态操作任务中控制行为和性能的影响如何？
• RQ5 全GPU并行化的联合空间MPC框架是否能在速度和约束处理方面超越现有的任务空间或CPU实现？

主要发现

• STORM在单张GPU上实现了125Hz的控制频率（每个控制周期8ms），相比先前基于MPPI的联合空间MPC实现，速度提升了100倍。
• 从原始点云中学习的碰撞代价的集成，使得无需显式几何模型即可实现对环境和自碰撞的鲁棒规避。
• 低差异采样与平滑插值显著提升了轨迹质量与收敛性，降低了加加速度并增强了运动稳定性。
• 该框架成功处理了复杂操作任务——如追踪运动目标和平衡物体——同时满足关节限位、奇异性规避和碰撞约束。
• 在真实Franka Panda机械臂上的实证评估表明，该方法在简单动力学模型下，实现了在动态环境中的动态响应、高精度和平滑运动。
• 开源实现支持可复现性与社区扩展，其在仿真和真实世界部署中均经过验证，性能表现优异。