[论文解读] Pushing Fast and Slow: Task-Adaptive Planning for Non-prehensile Manipulation Under Uncertainty

Wisdom C. Agboh, Mehmet R. Doğar|arXiv (Cornell University)|May 8, 2018

Reinforcement Learning in Robotics被引用 5

一句话总结

本文提出了一种面向非抓握操作的任务自适应规划与控制框架，该框架根据任务精度要求和不确定性水平，动态选择快速或慢速推动动作。通过将问题建模为动作相关的随机马尔可夫决策过程（MDP），并利用轨迹优化器指导动作选择，该系统在显著更短时间内实现了比标准模型预测控制（MPC）更高的成功率，尤其在低精度任务中表现更优。

ABSTRACT

We propose a planning and control approach to physics-based manipulation. The key feature of the algorithm is that it can adapt to the accuracy requirements of a task, by slowing down and generating `careful' motion when the task requires high accuracy, and by speeding up and moving fast when the task tolerates inaccuracy. We formulate the problem as an MDP with action-dependent stochasticity and propose an approximate online solution to it. We use a trajectory optimizer with a deterministic model to suggest promising actions to the MDP, to reduce computation time spent on evaluating different actions. We conducted experiments in simulation and on a real robotic system. Our results show that with a task-adaptive planning and control approach, a robot can choose fast or slow actions depending on the task accuracy and uncertainty level. The robot makes these decisions online and is able to maintain high success rates while completing manipulation tasks as fast as possible.

研究动机与目标

• 解决现有非抓握操作方法仅依赖慢速、准静态推动所导致的效率低下问题，尤其在容许不确定性的任务中表现不佳。
• 使机器人能够根据任务特定的精度要求，自主选择快速、高不确定性动作或慢速、高精度动作。
• 开发一种在线、近似的随机MDP求解方法，实现动作相关不确定性的建模，实现实时速度与精度的平衡。
• 通过使用确定性轨迹优化器预先筛选出有希望的动作，降低动作评估的计算成本。
• 在仿真环境和真实机器人上验证该方法，证明其在高精度和低精度任务中均优于标准MPC。

提出的方法

• 将非抓握操作问题建模为具有动作相关随机性的马尔可夫决策过程（MDP），其中不同推动速度导致不同水平的不确定性。
• 利用基于确定性物理模型的轨迹优化器，在每个状态下生成一组有希望的动作，显著减少需评估的动作数量。
• 使用不确定性概率模型评估所选动作在随机动力学下的表现，以估计期望代价和成功概率。
• 实现一种在线、近似的策略更新机制，支持实时决策，无需预先计算全局最优策略。
• 将规划器与闭环控制器集成，实现在执行过程中的反馈校正，提升对扰动和模型不准确性的鲁棒性。
• 借鉴模型预测控制（MPC）原理，结合不确定性感知的动作选择，确保在不同任务精度水平下均保持高成功率。

实验结果

研究问题

• RQ1 机器人能否根据任务精度要求和不确定性水平，动态切换快速与慢速推动动作？
• RQ2 动作相关不确定性如何影响非抓握操作的性能？是否能在MDP框架中有效建模？
• RQ3 轨迹优化器能否在随机MDP中引导动作采样，以降低计算成本同时保持高成功率？
• RQ4 与仅使用慢速动作的标准MPC相比，任务自适应规划器在不同精度水平下是否在速度和成功率方面表现更优？
• RQ5 所提出的方法能否在真实机器人系统上成功部署，适用于高精度和低精度操作任务？

主要发现

• 任务自适应控制器仅用一次快速推动便在2秒内完成低精度任务，而标准MPC需20次动作且耗时超过20秒。
• 在高精度任务中，标准MPC因不确定性过大导致物体滑落边缘而失败，而任务自适应控制器通过慢速、精确推动成功达成目标。
• 所提方法在成功率方面优于标准MPC，尤其在低精度场景中，当速度被优先考虑时优势更明显。
• 轨迹优化器的引入显著减少了每个状态需评估的动作数量，使系统在基于物理预测的高成本计算下仍能实现实时性能。
• 在真实机器人系统上，控制器成功适应了不同精度要求，在物理环境中表现出鲁棒性和高效性。
• 该方法通过根据任务约束动态平衡动作速度与精度，在不同不确定性水平下均保持了高成功率。