[论文解读] VisuoSpatial Foresight for Physical Sequential Fabric Manipulation

Ryan Hoque, Daniel Seita+7 more|arXiv (Cornell University)|Feb 19, 2021

Advanced Vision and Imaging参考文献 82被引用 7

一句话总结

本文提出视觉空间预判2.0（VisuoSpatial Foresight 2.0，VSF-2.0），一种改进的机器人布料操作框架，通过使用角落偏置动作数据集，从模拟的RGBD数据中学习视觉动态。通过增强数据收集、动态建模、代价函数和优化方法，VSF-2.0使目标条件策略仅用两个动作即可在真实世界中实现90%的布料折叠成功率，克服了先前方法在真实机器人上失败的局限性。

ABSTRACT

Robotic fabric manipulation has applications in home robotics, textiles, senior care and surgery. Existing fabric manipulation techniques, however, are designed for specific tasks, making it difficult to generalize across different but related tasks. We build upon the Visual Foresight framework to learn fabric dynamics that can be efficiently reused to accomplish different sequential fabric manipulation tasks with a single goal-conditioned policy. We extend our earlier work on VisuoSpatial Foresight (VSF), which learns visual dynamics on domain randomized RGB images and depth maps simultaneously and completely in simulation. In this earlier work, we evaluated VSF on multi-step fabric smoothing and folding tasks against 5 baseline methods in simulation and on the da Vinci Research Kit (dVRK) surgical robot without any demonstrations at train or test time. A key finding was that depth sensing significantly improves performance: RGBD data yields an 80% improvement in fabric folding success rate in simulation over pure RGB data. In this work, we vary 4 components of VSF, including data generation, visual dynamics model, cost function, and optimization procedure. Results suggest that training visual dynamics models using longer, corner-based actions can improve the efficiency of fabric folding by 76% and enable a physical sequential fabric folding task that VSF could not previously perform with 90% reliability. Code, data, videos, and supplementary material are available at https://sites.google.com/view/fabric-vsf/.

研究动机与目标

• 解决在无任务特定示范的情况下，将机器人布料操作策略泛化到序列任务的挑战。
• 克服先前视觉预判方法在真实世界布料操作中的局限性，特别是动态差距和高数据需求问题。
• 通过改进核心组件（数据生成、动态建模、代价函数和优化）来提升布料折叠的泛化性和效率。
• 仅通过自监督模拟数据和模拟到现实的迁移，实现复杂布料操作任务的可靠物理执行。
• 证明角落偏置的长距离拉伸动作显著提升视觉动态学习和下游任务性能。

提出的方法

• 引入了一个新数据集Fabric-CornerBias，包含9,932个episode，具有更长的拉伸距离，并偏向于抓取布料角落，以提升状态空间的覆盖度。
• 将SVG（Vid-MAE）模型扩展为动作条件化，以在模拟中实现更精确的视觉空间动态预测。
• 用学习到的代价函数替代L2像素损失，通过更好地对齐预测图像与目标图像，提升规划精度。
• 在模型预测控制（MPC）中采用CMA-ES进行优化，提升规划过程中的收敛性和鲁棒性。
• 通过领域随机化和RGBD观测实现模拟到现实的迁移，无需真实世界微调。
• 采用开环规划，并通过颜色掩码实时重新注册状态，以纠正初始状态错位。

实验结果

研究问题

• RQ1 在数据收集中使用角落偏置的长距离拉伸动作是否显著提升视觉预判在布料操作任务中的性能？
• RQ2 动作条件化的视觉动态模型是否能在模拟到现实的布料折叠任务中超越标准视频预测模型？
• RQ3 用学习到的代价函数替代L2像素损失是否能提升布料操作中的规划效率和成功率？
• RQ4 CMA-ES优化是否能在布料折叠的MPC中超越标准方法（如CMA-ES或基于梯度的方法）？
• RQ5 新数据集和模型配置在多大程度上实现了先前VSF版本无法实现的物理折叠任务执行？

主要发现

• 使用Fabric-CornerBias数据集进行训练，使模拟中的折叠效率相比先前方法提升了76%。
• VSF-2.0在da Vinci外科手术机器人上实现了90%的物理布料折叠成功率，而先前的VSF-1.0版本在此任务中失败。
• 在模拟中，VSF-2.0在20次成功试验中的19次里平均仅用2个动作完成布料折叠，表明规划效率极高。
• VSF-2.0中使用深度感知使模拟中折叠成功率相比纯RGB数据提升了80%。
• 角落偏置动作与动作条件化动态建模的结合实现了可靠的物理执行，而先前方法因动态差距和控制不精确而失败。
• 新数据集和模型配置随时间减少了动态差距，防止了长时序任务中的误差累积。