[论文解读] Self-Supervised Learning of State Estimation for Manipulating Deformable Linear Objects

Mengyuan Yan, Yilin Zhu+2 more|arXiv (Cornell University)|Nov 14, 2019

Advanced Vision and Imaging参考文献 30被引用 10

一句话总结

本文提出了一种用于绳索等可变形线性物体状态估计的自监督学习框架，采用两阶段感知网络：首先通过微调的VGG16特征进行粗略预测，随后利用空间变压器网络进行分层细化，实现64段精度的估计。该方法在结扣等复杂任务中实现了鲁棒的跟踪与操作，具备高数据效率，并在标注数据有限的情况下表现优异。

ABSTRACT

We demonstrate model-based, visual robot manipulation of linear deformable objects. Our approach is based on a state-space representation of the physical system that the robot aims to control. This choice has multiple advantages, including the ease of incorporating physics priors in the dynamics model and perception model, and the ease of planning manipulation actions. In addition, physical states can naturally represent object instances of different appearances. Therefore, dynamics in the state space can be learned in one setting and directly used in other visually different settings. This is in contrast to dynamics learned in pixel space or latent space, where generalization to visual differences are not guaranteed. Challenges in taking the state-space approach are the estimation of the high-dimensional state of a deformable object from raw images, where annotations are very expensive on real data, and finding a dynamics model that is both accurate, generalizable, and efficient to compute. We are the first to demonstrate self-supervised training of rope state estimation on real images, without requiring expensive annotations. This is achieved by our novel self-supervising learning objective, which is generalizable across a wide range of visual appearances. With estimated rope states, we train a fast and differentiable neural network dynamics model that encodes the physics of mass-spring systems. Our method has a higher accuracy in predicting future states compared to models that do not involve explicit state estimation and do not use any physics prior, while only using 3\% of training data. We also show that our approach achieves more efficient manipulation, both in simulation and on a real robot, when used within a model predictive controller.

研究动机与目标

• 解决在机器人操作中对绳索等可变形线性物体进行精确、实时状态估计的挑战。
• 通过图像重建与时间一致性自监督学习，减少对昂贵人工标注真值的依赖。
• 提升长期操作任务中动态模型训练的数据效率。
• 通过在拓扑变化下保持精确的状态跟踪，实现结扣等复杂操作任务。
• 开发一种可扩展、端到端可训练的系统，整合感知与动态建模以实现绳索操作。

提出的方法

• 两阶段感知网络：首先利用冻结的VGG16特征与全连接层，对绳索形状进行粗略的9点估计。
• 通过空间变压器网络（STNs）进行分层细化，将感兴趣区域（ROIs）数量从8倍增至64，共分三步完成。
• 每个细化步骤从较低分辨率的VGG特征块中裁剪特征，应用STN将其重采样为7×7大小，并为每个ROI预测三个点（起点、中点、终点），重叠点取平均。
• 通过最小化预测图像与输入图像之间的L2损失实现自监督损失优化，采用基于损失阈值的课程学习策略。
• 通过时间一致性约束：当一对图像中仅有一幅图像的损失低于阈值时，使用表现更好的图像作为表现较差图像的伪标签。
• 采用双向LSTM动态模型，基于节点级输入（位置、动作、指示符）预测未来绳索状态，通过可学习权重融合输出以预测下一时刻的位置。

实验结果

研究问题

• RQ1 通过图像重建与时间一致性自监督学习，是否能在无需人工标注关键点标签的情况下提升可变形线性物体的状态估计精度？
• RQ2 基于空间变压器的分层细化在实现64段绳索状态估计方面效果如何？
• RQ3 自动课程学习在多大程度上提升了自监督感知训练的收敛性与鲁棒性？
• RQ4 与先前基线相比，所提出的双向LSTM动态模型在数据效率与长期预测精度方面表现如何？
• RQ5 集成的感知-动态系统是否能够支持如结扣等具有拓扑变化的复杂操作任务？

主要发现

• 该方法在极少监督下实现了精确的64段绳索状态估计，即使在拓扑变化（如交叉）情况下也能实现鲁棒跟踪。
• 当使用训练图像损失的第10至20百分位数之间的误差阈值时，性能达到最优，且对阈值选择不敏感。
• 由于有效样本数量达到平台期时自动更新阈值，训练过程在损失曲线上呈现出阶梯状行为。
• 双向LSTM动态模型仅使用完整0.5M模拟动作数据集的3%即表现出良好泛化能力，相比基线展现出更强的数据效率。
• 在仿真中，经过100次动作后，所提方法达到的目标状态显著优于基线（DVF），证明了其在长期控制任务中的优越性。
• 系统成功实现了复杂操作任务（如结扣），可视化结果表明状态跟踪准确且能有效达成目标。