[论文解读] Taxim: An Example-based Simulation Model for GelSight Tactile Sensors

Zilin Si, Wenzhen Yuan|arXiv (Cornell University)|Sep 9, 2021

Advanced Sensor and Energy Harvesting Materials被引用 4

一句话总结

Taxim 是一种基于示例的、高速的 GelSight 触觉传感器仿真框架，结合了基于多项式查找表的光学响应仿真与基于线性位移和叠加原理的标记点运动场仿真。它在光学精度方面达到当前最先进水平，像素级强度误差极低，并且在 CPU 上高效运行，为机器人研究提供了逼真且计算轻量的触觉仿真。

ABSTRACT

Simulation is widely used in robotics for system verification and large-scale data collection. However, simulating sensors, including tactile sensors, has been a long-standing challenge. In this paper, we propose Taxim, a realistic and high-speed simulation model for a vision-based tactile sensor, GelSight. A GelSight sensor uses a piece of soft elastomer as the medium of contact and embeds optical structures to capture the deformation of the elastomer, which infers the geometry and forces applied at the contact surface. We propose an example-based method for simulating GelSight: we simulate the optical response to the deformation with a polynomial look-up table. This table maps the deformed geometries to pixel intensity sampled by the embedded camera. In order to simulate the surface markers' motion that is caused by the surface stretch of the elastomer, we apply the linear elastic deformation theory and the superposition principle. The simulation model is calibrated with less than 100 data points from a real sensor. The example-based approach enables the model to easily migrate to other GelSight sensors or its variations. To the best of our knowledge, our simulation framework is the first to incorporate marker motion field simulation that derives from elastomer deformation together with the optical simulation, creating a comprehensive and computationally efficient tactile simulation framework. Experiments reveal that our optical simulation has the lowest pixel-wise intensity errors compared to prior work and can run online with CPU computing. Our code and supplementary materials are open-sourced at https://github.com/CMURoboTouch/Taxim.

研究动机与目标

• 为解决机器人仿真框架中缺乏真实、高效的触觉传感器仿真问题。
• 开发一种能够同时捕捉视觉触觉传感器（如 GelSight）中光学响应与标记点运动的仿真模型。
• 创建一种计算高效、基于校准的方法，仅需少量真实世界数据即可在不同 GelSight 变体间实现良好泛化。
• 在一个统一框架中集成光学与机械响应仿真，实现从仿真到现实的触觉感知。
• 在无需昂贵真实实验的前提下，实现大规模数据生成与系统验证，用于基于触觉的操控研究。

提出的方法

• 使用多项式查找表将接触几何映射到触觉图像中的像素强度，以仿真 GelSight 传感器的光学响应。
• 利用线性位移关系与叠加原理仿真标记点运动场，以建模弹性体的变形。
• 通过少于 100 个真实传感器接触示例进行校准，实现对新传感器的快速适应。
• 采用累积方法模拟光照引起的阴影效果，以增强仿真真实感。
• 该框架设计用于集成到机器人仿真引擎（如 PyBullet 和 Gazebo）中。
• 整个仿真过程在 CPU 上在线运行，确保实时应用的高速性能。

实验结果

研究问题

• RQ1 基于数据驱动、示例驱动的方法，能否准确复现 GelSight 传感器的光学响应？
• RQ2 能否利用线性位移与叠加原理，高保真地仿真由弹性体变形引起的标记点运动场？
• RQ3 与现有的基于物理或学习的触觉仿真器相比，所提出的仿真方法在准确度与速度方面表现如何？
• RQ4 该模型在仅需少量重新校准的情况下，对不同 GelSight 传感器的泛化能力如何？
• RQ5 通过使用真实数据进行校准，该仿真能否有效捕捉传感器噪声与光照效应？

主要发现

• 光学仿真在像素级强度误差方面优于以往工作，X 方向误差为 3.58×10⁻³ mm，Y 方向为 3.32×10⁻³ mm，Z 方向为 5.43×10⁻³ mm。
• 与 FEM 仿真相比，标记点运动场仿真的平均 L1 误差为 3.96×10⁻³ mm，表明其与基于物理的变形高度一致。
• 该仿真在 CPU 上平均耗时 9.22 秒，显著快于 FEM 仿真（2–4 小时），且与 GPU 加速基线方法相当。
• 真实与仿真标记点运动之间的加权平均角度 L1 误差为 14.57°，接近真实与 FEM 数据之间的 12.94° 误差，表明仿真保真度高。
• 通过少于 100 个真实示例的校准，该模型成功捕捉了光照效应与传感器噪声，实现了高精度的仿真到现实迁移。
• Taxim 是首个以低计算成本实现高精度光学响应与标记点运动场同步仿真的框架。