[论文解读] Simulation of Vision-based Tactile Sensors using Physics based Rendering

Arpit Agarwal, Tim Man+1 more|arXiv (Cornell University)|Dec 24, 2020

Tactile and Sensory Interactions参考文献 25被引用 4

一句话总结

本论文提出首个针对基于视觉的触觉传感器（特别是GelSight）的完全通用的基于物理的光学仿真系统，采用先进的渲染技术模拟光传输、材料属性和表面形变。通过精确模拟阴影、多重反射和空间光强变化，该系统在图像真实感方面显著优于以往方法，在SSIM和MSE等定性和定量指标上表现更优。

ABSTRACT

Tactile sensing has seen a rapid adoption with the advent of vision-based tactile sensors. Vision-based tactile sensors provide high resolution, compact and inexpensive data to perform precise in-hand manipulation and human-robot interaction. However, the simulation of tactile sensors is still a challenge. In this paper, we built the first fully general optical tactile simulation system for a GelSight sensor using physics-based rendering techniques. We propose physically accurate light models and show in-depth analysis of individual components of our simulation pipeline. Our system outperforms previous simulation techniques qualitatively and quantitative on image similarity metrics. Our code and experimental data is open-sourced at https://labs.ri.cmu.edu/robotouch/tactile-optical-simulation/

研究动机与目标

• 开发一种完全通用的光学仿真系统，用于基于视觉的触觉传感器（如GelSight），以实现在机器人仿真与设计中准确且逼真的图像生成。
• 解决以往仿真方法依赖非物理光照模型、无法捕捉空间光强变化、多重反射及准确材料响应的局限性。
• 构建一个基于物理的仿真流程，支持光照位置、表面几何形状和材料属性的动态变化，以提升在机器人研究中的广泛适用性。
• 通过受控的桌面实验和定量图像相似度指标，将仿真系统与真实GelSight传感器数据进行对比验证。

提出的方法

• 系统采用基于物理的渲染（PBR）技术，模拟光的多次弹跳，确保光照与阴影的物理准确性。
• 通过三个核心组件对GelSight传感器进行建模：凝胶核心（gelcore）、橡胶表面和LED光源，每个组件均具有真实的光学与材料属性。
• 采用自定义的网格相交与基于卷积的预处理步骤，离线计算物体与传感器表面之间的接触几何形状。
• 仿真采用物理上准确的光照模型，考虑了距离效应，不同于以往工作中对方向光的假设。
• 材料模型包含漫反射与镜面反射分量，并引入空间变化的反照率与粗糙度，以反映真实传感器表面的行为。
• 使用MSE、SNR、SMAPE和SSIM等图像相似度指标，对仿真结果与真实传感器图像的保真度进行定量评估。

实验结果

研究问题

• RQ1 基于物理的渲染流程能否在不同物体几何形状和接触条件下，准确模拟基于视觉的触觉传感器（如GelSight）的光学行为？
• RQ2 与非物理光照模型相比，引入多次光弹跳和空间变化的光照是否能显著提升图像真实感？
• RQ3 在多种测试案例中，所提出的仿真系统在颜色、亮度和形状表达方面与真实传感器图像的匹配程度如何？
• RQ4 该仿真系统能否可靠地再现复杂光学效应，如凹面或穹顶形橡胶表面中的多重反射与边缘光照变化？

主要发现

• 所提出的仿真系统实现了0.80的平均SSIM，显著优于基线方法（0.40–0.42），表明其在感知图像相似度方面表现更优。
• 系统将MSE降低至0.001710，远低于次优方法的0.003807，证明其在像素级精度上具有显著优势。
• 该方法成功捕捉了光强与颜色的空间变化，尤其在光源附近和锐利边缘区域，而以往方法因假设恒定方向光而无法建模此类现象。
• 通过与真实传感器数据在穹顶形几何结构上的对比验证，仿真系统准确再现了凹形橡胶表面中的多重反射等复杂光学效应。
• 系统在不同物体形状、压痕深度和橡胶表面几何形态下均表现出一致的性能，证实了其良好的泛化能力。
• 该仿真流程已开源，可为未来触觉传感与机器人操作研究提供可复用与可扩展的基础。