[论文解读] Sim-to-real for high-resolution optical tactile sensing: From images to 3D contact force distributions

Carmelo Sferrazza, Raffaello D’Andrea|arXiv (Cornell University)|Dec 21, 2020

Advanced Sensor and Energy Harvesting Materials参考文献 1被引用 6

一句话总结

该论文提出了一种用于高分辨率光学触觉传感的端到端仿真到现实（sim-to-real）框架，通过有限元方法（FEM）模拟的颗粒分散软材料生成的合成数据，完全训练了一个基于U-Net的神经网络。该模型能够以高精度将图像特征映射为3D接触力分布，在真实触觉传感器上实现120 Hz的实时推理，直接使用原始图像特征，其精度和速度均优于基于光流的替代方案。

ABSTRACT

The images captured by vision-based tactile sensors carry information about high-resolution tactile fields, such as the distribution of the contact forces applied to their soft sensing surface. However, extracting the information encoded in the images is challenging and often addressed with learning-based approaches, which generally require a large amount of training data. This article proposes a strategy to generate tactile images in simulation for a vision-based tactile sensor based on an internal camera that tracks the motion of spherical particles within a soft material. The deformation of the material is simulated in a finite element environment under a diverse set of contact conditions, and spherical particles are projected to a simulated image. Features extracted from the images are mapped to the 3D contact force distribution, with the ground truth also obtained via finite-element simulations, with an artificial neural network that is therefore entirely trained on synthetic data avoiding the need for real-world data collection. The resulting model exhibits high accuracy when evaluated on real-world tactile images, is transferable across multiple tactile sensors without further training, and is suitable for efficient real-time inference.

研究动机与目标

• 仅使用仿真数据，实现从光学触觉传感器图像中对高分辨率3D接触力分布进行实时估计。
• 通过完全基于FEM生成的合成仿真数据进行训练，消除对真实世界数据采集的需求。
• 开发一种可迁移的模型，无需微调即可在多种物理触觉传感器上泛化。
• 比较原始图像特征与光流特征在触觉传感仿真到现实迁移中的性能差异。
• 在保持高精度的同时，实现实时推理（120 Hz），适用于多变接触条件下的力分布重建。

提出的方法

• 使用有限元方法（FEM）模拟球形颗粒嵌入软凝胶中在不同接触条件下的材料形变。
• 将模拟得到的颗粒位移投影到二维图像平面上，生成合成触觉图像。
• 直接从原始图像中提取图像特征，或通过光流计算获取特征作为模型输入。
• 在合成数据上端到端训练基于U-Net的神经网络，将图像特征映射为3D接触力分布，其真实值来自FEM模拟。
• 为原始特征与光流特征模型使用相同的网络架构和输入/输出维度，以确保公平比较。
• 在真实世界触觉传感器数据上评估训练好的模型，以评估其仿真到现实的泛化能力与推理速度。

实验结果

研究问题

• RQ1 仅在FEM合成仿真数据上训练的基于学习的模型，能否在真实世界触觉传感器上准确重建3D接触力分布？
• RQ2 在仿真到现实迁移中，选择原始图像特征还是光流特征，对模型性能与推理速度有何影响？
• RQ3 该模型是否能在不重新训练的情况下，泛化到同种触觉传感器设计的多个物理实例上？
• RQ4 当部署在CPU上用于实时机器人应用时，该模型的可实现推理速度是多少？
• RQ5 在包括剪切主导和多点接触等复杂场景下，该模型是否仍能保持高精度？

主要发现

• 在真实世界测试数据上，基于原始图像特征的模型在垂直力分量上表现优于基于光流的模型，精度更高。
• 在所有力分量上，原始特征模型在各项定量指标（包括平均绝对误差和相关系数）上均优于光流模型。
• 原始特征处理流程在CPU上实现了120 Hz的实时推理，而光流处理流程因特征提取瓶颈仅达到50 Hz。
• 该模型展现出强大的零样本迁移能力，在未进行微调或使用真实数据的情况下，可在多个物理触觉传感器上实现良好泛化。
• 即使在剪切主导和多点接触等训练分布外的挑战性条件下，该模型仍保持高精度。
• 仿真与现实之间仍存在性能差距，表明未来可通过领域自适应技术进一步缩小仿真到现实的差距。