[论文解读] S3K: Self-Supervised Semantic Keypoints for Robotic Manipulation via Multi-View Consistency

Mel Vecerík, Jean-Baptiste Regli+8 more|arXiv (Cornell University)|Sep 30, 2020

Robot Manipulation and Learning参考文献 35被引用 13

一句话总结

S3K 提出了一种自监督方法，通过多视角一致性学习机器人操作中的精确3D语义关键点，仅需极少人工标注的标签即可实现1–5 mm的精度。通过利用多视角之间的几何约束，模型学习到鲁棒且具备上下文感知能力的关键点检测器，可在不同物体和任务间泛化，显著提升仿真和真实场景下的策略学习效果与任务成功率。

ABSTRACT

A robot's ability to act is fundamentally constrained by what it can perceive. Many existing approaches to visual representation learning utilize general-purpose training criteria, e.g. image reconstruction, smoothness in latent space, or usefulness for control, or else make use of large datasets annotated with specific features (bounding boxes, segmentations, etc.). However, both approaches often struggle to capture the fine-detail required for precision tasks on specific objects, e.g. grasping and mating a plug and socket. We argue that these difficulties arise from a lack of geometric structure in these models. In this work we advocate semantic 3D keypoints as a visual representation, and present a semi-supervised training objective that can allow instance or category-level keypoints to be trained to 1-5 millimeter-accuracy with minimal supervision. Furthermore, unlike local texture-based approaches, our model integrates contextual information from a large area and is therefore robust to occlusion, noise, and lack of discernible texture. We demonstrate that this ability to locate semantic keypoints enables high level scripting of human understandable behaviours. Finally we show that these keypoints provide a good way to define reward functions for reinforcement learning and are a good representation for training agents.

研究动机与目标

• 为解决现有视觉表征在机器人操作中缺乏几何结构的问题，该问题限制了抓取和插孔插入等任务的精度。
• 通过引入自监督学习框架，减少对昂贵全监督或密集标注的依赖，实现3D语义关键点检测。
• 实现鲁棒的关键点检测，具备跨物体类别泛化能力，可处理遮挡和无纹理表面，并支持高层任务脚本化。
• 证明所学习的关键点可作为有效视觉特征和强化学习中的奖励信号，用于复杂操作任务。
• 表明模型性能随总数据量（标注数据 + 未标注数据）增长，而非仅依赖标注数据，使方法在真实世界部署中更具数据效率和实用性。

提出的方法

• 利用多视角几何作为自监督信号：模型预测在多个相机视角下一致的3D关键点位置。
• 结合少量2D关键点标注（训练用120张，调优用36张）与大规模未标注图像，训练3D关键点检测器。
• 使用可微分的多视角一致性损失，强制模型在不同视角下预测的3D关键点保持几何一致性。
• 采用神经网络架构，从RGB图像输出语义关键点的3D坐标（例如：插头尖端、插座中心）。
• 通过基于关键点距离的密集、几何意义明确的奖励函数，将关键点监督整合到强化学习中。
• 在静态场景中通过时间维度上的几何一致性进行标签传播，实现在无需全监督情况下的高效训练。

实验结果

研究问题

• RQ1 多视角一致性能否作为自监督信号，用于在极少人工标注数据下训练3D语义关键点检测器？
• RQ2 所学习的关键点在未见物体类别、未见配置以及包含遮挡和纹理变化的真实世界条件下，泛化能力如何？
• RQ3 语义关键点能否作为有效视觉特征，用于训练样本高效的强化学习策略，以应对机器人操作任务？
• RQ4 关键点检测器的性能是否随总数据量（标注数据 + 未标注数据）增长，而非仅依赖标注数据？
• RQ5 基于关键点的奖励函数能否提升复杂操作任务（如电缆插入）中的学习效率和最终任务成功率？

主要发现

• S3K 模型仅使用120张标注图像，即实现1–5 mm的3D关键点检测精度，证明了在极少监督下仍具备高精度。
• 在电缆插入任务中，基于关键点的智能体在3小时内训练即达到95%以上的成功率，显著优于VAE基线模型，后者在60%以下平台期停滞。
• 模型在未见配置的毛绒玩具上泛化良好，多视角检测结果展示了对先前未见姿态的鲁棒性。
• 性能随总数据量增长，而非仅依赖标注数据，表明未标注数据有效提升了泛化能力与鲁棒性。
• 关键点检测器对噪声和部分遮挡具有鲁棒性，在训练过程中未观察到因关键点坍塌导致的误报。
• 关键点表征支持高层行为脚本化，例如通过简单几何规则实现‘抓起毛绒玩具的爪子’等人类可理解的行为。