[论文解读] SwingBot: Learning Physical Features from In-hand Tactile Exploration for Dynamic Swing-up Manipulation

Chen Wang, Shaoxiong Wang+3 more|arXiv (Cornell University)|Jan 28, 2021

Robot Manipulation and Learning参考文献 28被引用 9

一句话总结

SwingBot 提出了一种自监督学习框架，通过物体在手中倾斜和抖动时的触觉反馈，学习未知物体的低维物理特征嵌入，从而实现精确的动态摆动提升操作。该方法通过将触觉数据融合到任务导向的嵌入空间中，提升了控制策略的适应性，并实现了对质量、质心等物理属性的回归，在未见过的物体上实现了17.2°的平均摆动提升误差。

ABSTRACT

Several robot manipulation tasks are extremely sensitive to variations of the physical properties of the manipulated objects. One such task is manipulating objects by using gravity or arm accelerations, increasing the importance of mass, center of mass, and friction information. We present SwingBot, a robot that is able to learn the physical features of a held object through tactile exploration. Two exploration actions (tilting and shaking) provide the tactile information used to create a physical feature embedding space. With this embedding, SwingBot is able to predict the swing angle achieved by a robot performing dynamic swing-up manipulations on a previously unseen object. Using these predictions, it is able to search for the optimal control parameters for a desired swing-up angle. We show that with the learned physical features our end-to-end self-supervised learning pipeline is able to substantially improve the accuracy of swinging up unseen objects. We also show that objects with similar dynamics are closer to each other on the embedding space and that the embedding can be disentangled into values of specific physical properties.

研究动机与目标

• 为了使机器人能够通过手部触觉探索推断未知物体的物理属性，减少对视觉或显式监督的依赖。
• 为了提高在具有不同物理属性的多样化、此前未见过的物体上进行动态摆动提升操作的准确性和鲁棒性。
• 为了开发一种自监督的端到端学习流程，将来自多种探索动作的触觉信号融合到共享的物理特征嵌入中。
• 为了证明所学习的嵌入具有任务导向性，从而在具有相似动力学特性的物体之间实现更好的控制策略泛化。
• 为了验证嵌入可被解耦，以预测诸如质量、质心、转动惯量和摩擦系数等可解释的物理属性。

提出的方法

• 机器人在记录触觉数据的同时执行两种主动探索动作——倾斜和抖动，使用GelSight传感器捕捉形变和力动力学。
• 一个多动作融合网络以自监督方式将两种动作的触觉信号融合为一个联合的低维物理特征嵌入。
• 一个前向动力学模型基于嵌入的物理特征和控制参数预测最终的摆动提升角度，从而支持策略优化。
• 通过将摆动提升任务的表现作为自监督信号，端到端训练嵌入空间，无需真实物理标签。
• 该方法利用主成分分析（PCA）可视化嵌入空间，确认具有相似动力学特性的物体在嵌入空间中距离更近。
• 系统利用嵌入对特征空间进行解耦，以回归单个物理属性（如质量、质心等）。

实验结果

研究问题

• RQ1 能否利用简单的手部探索动作（倾斜和抖动）的触觉反馈，学习到紧凑且与任务相关的未知物体物理特征嵌入？
• RQ2 与单动作或基于视觉的基线方法相比，融合多个探索动作的信息在多大程度上提升了动态摆动提升操作的准确性？
• RQ3 所学习的物理特征嵌入是否具备泛化性和任务导向性，使得具有相似动力学特性的物体在嵌入空间中彼此靠近？
• RQ4 该嵌入是否可被解耦，以预测特定的物理属性（如质量、质心和摩擦系数）？
• RQ5 与不使用触觉融合的基线方法相比，自监督嵌入在未见物体上的性能提升程度如何？

主要发现

• 所提出的融合方法在六个未见过的测试物体上实现了17.2°的平均摆动提升误差，显著优于单动作基线和非触觉方法。
• 具有相似动力学行为的物体（如质量与质心相近）在学习到的嵌入空间中彼此距离更近，证实了嵌入的任务导向性。
• 结合倾斜与抖动的探索策略优于单一动作，融合模型在预测所有物理属性方面达到了最佳平衡。
• 嵌入空间支持对质量、质心、转动惯量和摩擦系数等物理参数的直接回归，解耦后精度较高。
• 该方法在适应多样化物体的控制策略方面表现出鲁棒性，由于不确定性降低，对较轻物体的误差更小。
• 自监督训练流程成功学习到了有意义的物理特征，而无需真实标签，验证了端到端触觉表征学习的可行性。