[论文解读] ReSkin: versatile, replaceable, lasting tactile skins

Raunaq Bhirangi, Tess Hellebrekers+2 more|arXiv (Cornell University)|Oct 29, 2021

Advanced Sensor and Energy Harvesting Materials参考文献 35被引用 4

一句话总结

ReSkin 是一种低成本、可更换且耐用的触觉传感皮肤，通过磁感应畸变与机器学习技术，实现对多种形态因子的高精度力和接触定位。它通过自监督学习在新旧皮肤上均实现稳健性能，更换后可立即使用，且校准需求极低。

ABSTRACT

Soft sensors have continued growing interest in robotics, due to their ability to enable both passive conformal contact from the material properties and active contact data from the sensor properties. However, the same properties of conformal contact result in faster deterioration of soft sensors and larger variations in their response characteristics over time and across samples, inhibiting their ability to be long-lasting and replaceable. ReSkin is a tactile soft sensor that leverages machine learning and magnetic sensing to offer a low-cost, diverse and compact solution for long-term use. Magnetic sensing separates the electronic circuitry from the passive interface, making it easier to replace interfaces as they wear out while allowing for a wide variety of form factors. Machine learning allows us to learn sensor response models that are robust to variations across fabrication and time, and our self-supervised learning algorithm enables finer performance enhancement with small, inexpensive data collection procedures. We believe that ReSkin opens the door to more versatile, scalable and inexpensive tactile sensation modules than existing alternatives.

研究动机与目标

• 解决机器人和人机交互领域中长期耐用、可更换且可扩展的触觉传感解决方案的缺乏问题。
• 克服柔软贴合接触与传感器随时间推移及样本间退化之间的权衡。
• 在无需完整微调或重新校准的情况下，实现在新传感器皮肤上的精确触觉感知。
• 开发一种紧凑、低成本且多功能的触觉皮肤，适用于机器人夹爪、可穿戴传感器和大面积皮肤等多种应用。
• 实现高达 1mm 的空间分辨率和最高 400Hz 的时间分辨率，力敏感度低于 0.1N

提出的方法

• 使用柔软的磁化皮肤层，在受力时发生形变，从而改变局部磁场，由嵌入的柔性磁阻传感器检测。
• 利用机器学习将磁场畸变映射到接触力和位置，实现对制造差异和时间推移的鲁棒推理。
• 采用自监督学习（SSL）适应流程，通过三元组损失在少量数据下对新皮肤进行模型微调。
• 将电子传感电路与被动皮肤界面解耦，实现类似创可贴的便捷更换。
• 通过将多个柔性传感器板连接至单个微控制器，将 ReSkin 扩展至大面积连续表面（例如 2in × 4in）。
• 采用板载数据记录与实时采样（最高 400Hz），适用于移动和可穿戴设备部署。

实验结果

研究问题

• RQ1 触觉传感系统是否能在不重新训练的情况下，通过多次传感器更换仍保持高精度和 1mm 的空间分辨率？
• RQ2 自监督学习方法在仅使用少量数据的情况下，能否有效将预训练模型适配到全新且未校准的 ReSkin 传感器上？
• RQ3 磁感应结合机器学习在制造差异和长期使用下，其泛化能力达到何种程度？
• RQ4 ReSkin 是否能实现足够低的力敏感度（<0.1 N）和足够高的时间分辨率（>100 Hz），以支持灵巧操作任务？
• RQ5 ReSkin 在实现大尺寸、连续的触觉皮肤方面，能否有效实现全表面接触定位？

主要发现

• 通过在新传感器皮肤上应用自监督适应流程，ReSkin 在 1mm 空间分辨率下实现了 90% 的接触定位准确率。
• 系统在超过 50,000 次交互中保持了准确的力和接触预测，证明了其长期耐用性。
• ReSkin 传感器可检测低至 0.2 N 的力（相当于少于 20 mL 水的重量），实现对轻柔接触的敏感探测。
• 自监督学习方法使新皮肤上实现高精度性能，且数据采集量极少，显著降低校准时间和成本。
• ReSkin 成功实现对蓝莓和葡萄等易碎物体的抓取，利用力反馈性能优于 Robotiq Hand-E 夹爪内置的力传感器。
• ReSkin 已成功部署于多种应用场景：狗用鞋（测量步态受力）、手指手套（面团封口）、以及 2in × 4in 的连续大面积皮肤，实现全表面传感。