[论文解读] NeuralGrasps: Learning Implicit Representations for Grasps of Multiple Robotic Hands

Ninad Khargonkar, Neil Song+3 more|arXiv (Cornell University)|Jul 6, 2022

Robot Manipulation and Learning被引用 5

一句话总结

NeuralGrasps 提出了一种神经隐式表征，将来自多个机械手和人类手部的抓取动作编码到共享的潜在空间中，通过度量学习保持抓取相似性。这使得不同夹爪之间的零样本抓取迁移成为可能，包括人手到机器人夹爪的迁移，并支持从部分点云中进行接触优化的6D物体位姿估计，平均提升真实世界抓取成功率22.9%。

ABSTRACT

We introduce a neural implicit representation for grasps of objects from multiple robotic hands. Different grasps across multiple robotic hands are encoded into a shared latent space. Each latent vector is learned to decode to the 3D shape of an object and the 3D shape of a robotic hand in a grasping pose in terms of the signed distance functions of the two 3D shapes. In addition, the distance metric in the latent space is learned to preserve the similarity between grasps across different robotic hands, where the similarity of grasps is defined according to contact regions of the robotic hands. This property enables our method to transfer grasps between different grippers including a human hand, and grasp transfer has the potential to share grasping skills between robots and enable robots to learn grasping skills from humans. Furthermore, the encoded signed distance functions of objects and grasps in our implicit representation can be used for 6D object pose estimation with grasping contact optimization from partial point clouds, which enables robotic grasping in the real world.

研究动机与目标

• 通过为多样化抓取学习共享潜在空间，实现在不同机械夹爪（包括人类手部）之间迁移抓取技能。
• 开发一种神经隐式表征，联合编码基于符号距离函数（SDF）的物体形状和夹爪构型。
• 在潜在空间中学习一种反映抓取相似性的距离度量，该相似性基于接触区域重叠。
• 通过从部分点云中进行接触优化，支持真实世界机器人抓取的6D物体位姿估计。
• 引入一个新型多夹爪抓取数据集，以支持未来在抓取迁移和泛化方面的研究。

提出的方法

• 一个深度神经网络将潜在向量编码为：当解码时，可在任意3D点预测物体和夹爪在抓取构型下的SDF值。
• 模型使用三元组损失函数，学习一个潜在空间，使得潜在编码之间的距离反映抓取接触图的相似性。
• 通过计算夹爪与物体之间的接触图来定义抓取相似性，并用于监督潜在空间中的度量学习。
• 隐式SDF表征支持可微分优化，用于从部分点云和抓取接触约束中进行6D物体位姿估计。
• 人类示范流程通过RGB-D图像捕获3D手部网格，推断潜在编码，并在潜在空间中检索最接近的机器人抓取以执行。
• 通过从不同夹爪类型中查询潜在空间中最接近的抓取，该框架支持抓取迁移，实现人手到机器人的技能迁移。

实验结果

研究问题

• RQ1 能否学习一个共享潜在空间，以表征来自多个机械手和人类手部的抓取，同时保持抓取相似性？
• RQ2 潜在空间中的度量学习是否能有效实现不同夹爪类型（包括人类手部）之间的零样本抓取迁移？
• RQ3 隐式SDF表征是否能通过接触感知优化，提升在真实场景中从部分点云进行6D物体位姿估计的性能？
• RQ4 与仅使用SDF的位姿估计相比，基于接触的位姿优化如何影响抓取成功率？
• RQ5 能否通过所提出的隐式表征有效编码并实现人类示范向机器人夹爪的迁移？

主要发现

• 所提方法在基线位姿估计下达到62.8%的抓取成功率，结合接触优化后提升至85.7%，相对提升22.9%。
• 学习到的潜在空间保持了抓取相似性，潜在编码距离与接触图相似性得分之间的相关性达到0.89。
• 在真实实验中成功演示了从人类手部到Fetch移动操作机械臂的抓取迁移，定性结果表明具有良好的可迁移性。
• 结合接触图监督的三元组损失有效将潜在空间度量对齐至抓取相似性，高相似性得分与真实接触图距离高度匹配。
• 该框架通过仅利用部分点云观测，优化预测抓取与物体之间的接触，实现了真实世界机器人抓取。
• 所引入的多夹爪抓取数据集为未来在跨夹爪抓取迁移和未见物体泛化方面的研究奠定了基础。