[论文解读] Unsupervised Learning of Visual 3D Keypoints for Control

Boyuan Chen, Pieter Abbeel+1 more|arXiv (Cornell University)|Jun 14, 2021

Reinforcement Learning in Robotics参考文献 22被引用 10

一句话总结

本文提出一种端到端的无监督方法，直接从图像中学习用于机器人控制的3D视觉关键点，采用可微分编码器，通过多视角一致性与下游任务目标进行训练。所学习的3D关键点能有效捕捉机器人关节和物体的运动，在多个强化学习基准测试中优于先前的最先进方法。

ABSTRACT

Learning sensorimotor control policies from high-dimensional images crucially relies on the quality of the underlying visual representations. Prior works show that structured latent space such as visual keypoints often outperforms unstructured representations for robotic control. However, most of these representations, whether structured or unstructured are learned in a 2D space even though the control tasks are usually performed in a 3D environment. In this work, we propose a framework to learn such a 3D geometric structure directly from images in an end-to-end unsupervised manner. The input images are embedded into latent 3D keypoints via a differentiable encoder which is trained to optimize both a multi-view consistency loss and downstream task objective. These discovered 3D keypoints tend to meaningfully capture robot joints as well as object movements in a consistent manner across both time and 3D space. The proposed approach outperforms prior state-of-art methods across a variety of reinforcement learning benchmarks. Code and videos at this https URL

研究动机与目标

• 通过从高维图像中学习结构化的3D关键点嵌入，改进机器人控制的视觉表征。
• 通过直接从图像中学习具有几何意义的3D关键点结构，解决先前基于2D关键点方法的局限性。
• 通过同时利用多视角一致性与下游任务目标，实现3D关键点编码器的端到端无监督训练。
• 发现一致且语义有意义的3D关键点，能够跨时间和空间追踪机器人关节与物体的运动。

提出的方法

• 一个可微分神经编码器将输入图像映射到潜在的3D关键点空间，支持端到端训练。
• 通过多视角一致性损失训练模型，以确保不同摄像机视角之间的几何一致性。
• 联合优化下游任务目标（例如强化学习策略训练），使关键点表征与控制相关的动力学对齐。
• 优化3D关键点空间，使其在序列和视角变化下保持一致的空间与时间结构。
• 框架联合最小化重建损失与一致性损失，同时保留对控制任务相关的信息。
• 该方法无需任何标注的3D关键点数据，支持完全无监督预训练。

实验结果

研究问题

• RQ1 与2D或非结构化表征相比，从图像中无监督学习3D视觉关键点是否能提升下游机器人控制性能？
• RQ2 所发现的3D关键点在3D环境中的不同视角和时间序列上泛化能力如何？
• RQ3 所学习的3D关键点在多大程度上捕捉了有意义的机器人与物体运动，例如关节运动和物体交互？
• RQ4 与下游任务目标联合优化是否能提升3D关键点表征的质量与实用性？
• RQ5 所提出方法是否能在无需任何3D监督或标注关键点数据的情况下实现最先进性能？

主要发现

• 与先前最先进方法相比，该方法在多个强化学习基准测试中实现了更优性能。
• 所学习的3D关键点在时间和3D空间配置下均能一致地捕捉机器人关节与物体的运动。
• 模型展现出强大的多视角一致性，表明3D关键点空间保留了来自不同视角的几何结构。
• 通过多视角与任务目标的无监督预训练，显著加快了下游控制任务的收敛速度并提升了样本效率。
• 该方法在无需微调或3D监督的情况下，可在多样化环境与任务中良好泛化。
• 该框架仅使用图像观测即可实现有效的策略学习，无需真实3D关键点标注。