[论文解读] Tactile Object Pose Estimation from the First Touch with Geometric Contact Rendering

Maria Bauzá Villalonga, Eric Valls+3 more|arXiv (Cornell University)|Dec 9, 2020

Tactile and Sensory Interactions被引用 38

一句话总结

该论文提出一种仿真学习的、对象特定的感知模型，通过将真实接触形状与对象姿态网格中预计算的密集仿真接触形状集合进行匹配，从单次触觉印象中估计6D对象姿态，给出姿态分布和多点接触扩展。

ABSTRACT

In this paper, we present an approach to tactile pose estimation from the first touch for known objects. First, we create an object-agnostic map from real tactile observations to contact shapes. Next, for a new object with known geometry, we learn a tailored perception model completely in simulation. To do so, we simulate the contact shapes that a dense set of object poses would produce on the sensor. Then, given a new contact shape obtained from the sensor output, we match it against the pre-computed set using the object-specific embedding learned purely in simulation using contrastive learning. This results in a perception model that can localize objects from a single tactile observation. It also allows reasoning over pose distributions and including additional pose constraints coming from other perception systems or multiple contacts. We provide quantitative results for four objects. Our approach provides high accuracy pose estimations from distinctive tactile observations while regressing pose distributions to account for those contact shapes that could result from different object poses. We further extend and test our approach in multi-contact scenarios where several tactile sensors are simultaneously in contact with the object. Website: http://mcube.mit.edu/research/tactile_loc_first_touch.html

研究动机与目标

• 开发一个框架，在首次触觉触发下估计已知三维物体的姿态。
• 实现姿态分布推理，而非单点估计。
• 利用仿真学习一个对象特定的感知模型，将接触形状映射到姿态似然性。
• 支持多接触场景以及来自其他传感器或先验的额外姿态约束的整合。

提出的方法

• 用神经网络从触觉图像预测接触形状，该网络将 200x200 的 RGB 触觉图像映射到 200x200 的深度接触形状图像。
• 通过几何接触渲染使用三维物体模型和虚拟传感器设置来渲染仿真接触形状。
• 创建一个密集、对象特定的接触姿势网格及相应的接触形状。
• 通过对比学习（改进的 MoCo）训练对象特定的嵌入，将接触形状映射到网格内的姿态似然性。
• 将新的接触形状编码为低维嵌入，并通过矩阵-向量乘积在姿态网格上计算似然性，随后通过 softmax 获得姿态分布。
• 使用点云配准方法（FilterReg）对顶层姿态假设进行细化，以在网格分辨率之外提高对齐。
• 通过在概率乘积模型下组合来自多个触觉观测的姿态似然性，将框架扩展到多接触场景。

实验结果

研究问题

• RQ1 是否可以使用通过仿真训练的对象特定感知模型，从首次触觉准确估计已知物体的姿态？
• RQ2 将真实触觉接触形状与预先计算的密集仿真接触形状集合进行匹配，是否能产生可靠的姿态似然性与分布？
• RQ3 将多接触观测纳入对姿态估计的影响在精度与不确定性方面如何表现？
• RQ4 是否能够将来自其他感知系统或先验的姿态约束整合到姿态估计框架中？

主要发现

• 该方法在多种对象的首次触摸下实现了准确的姿态估计，姿态分布反映出接触形状的非唯一性。
• 密集的对象特定网格（每个对象 5k–20k 姿态）与学习的嵌入结合，使得通过一个矩阵-向量乘积即可实现高效的似然性计算。
• 在可行时，用 FilterReg 对顶层姿态假设进行细化可以改善估计。
• 与仅运动学方法相比，多接触证据降低了姿态不确定性。
• 该方法在姿态精度方面显示出可观的提升，并在非唯一接触情境中捕捉到多模态分布。