[论文解读] Towards Accurate Task Accomplishment with Low-Cost Robotic Arms

Yiming Zuo, Weichao Qiu+4 more|arXiv (Cornell University)|Dec 3, 2018

Robot Manipulation and Learning参考文献 33被引用 1

一句话总结

本文提出了一种半监督域自适应方法，利用3D模型生成的合成数据来训练视觉模型，以实现对低成本、无传感器机器人臂的3D姿态估计。通过利用关键点之间的几何约束及迭代优化，该方法在无需真实图像标注的情况下，实现了在真实世界数据集上的强泛化能力，从而通过模拟强化学习实现了有效的基于视觉的控制。

ABSTRACT

Training a robotic arm to accomplish real-world tasks has been attracting increasing attention in both academia and industry. This work discusses the role of computer vision algorithms in this field. We focus on low-cost arms on which no sensors are equipped and thus all decisions are made upon visual recognition, e.g., real-time 3D pose estimation. This requires annotating a lot of training data, which is not only time-consuming but also laborious. In this paper, we present an alternative solution, which uses a 3D model to create a large number of synthetic data, trains a vision model in this virtual domain, and applies it to real-world images after domain adaptation. To this end, we design a semi-supervised approach, which fully leverages the geometric constraints among keypoints. We apply an iterative algorithm for optimization. Without any annotations on real images, our algorithm generalizes well and produces satisfying results on 3D pose estimation, which is evaluated on two real-world datasets. We also construct a vision-based control system for task accomplishment, for which we train a reinforcement learning agent in a virtual environment and apply it to the real-world. Moreover, our approach, with merely a 3D model being required, has the potential to generalize to other types of multi-rigid-body dynamic systems.

研究动机与目标

• 为解决缺乏传感器的低成本机器人臂的视觉模型训练挑战，完全依赖视觉识别。
• 通过从3D模型生成合成训练数据，减少对昂贵且耗时的真实世界数据标注的依赖。
• 通过在模拟领域中训练的视觉模型并结合域自适应，实现在真实机器人系统上的有效3D姿态估计。
• 通过在模拟环境中训练强化学习智能体并将其迁移到现实世界，开发基于视觉的控制体系以完成任务。
• 构建一个通用框架，仅依赖3D模型即可应用于其他多刚体动力系统。

提出的方法

• 使用机器人臂的3D模型生成合成训练数据，以模拟多样化的视觉观测。
• 采用半监督学习方法，利用关键点之间的几何约束以提升泛化能力。
• 使用迭代优化算法，通过在不同视角间强制一致性并最小化虚拟领域中的误差，以优化预测结果。
• 在无需真实图像标注的情况下执行域自适应，依赖自监督与几何先验来对齐虚拟与真实分布。
• 在模拟环境中训练强化学习智能体以执行任务，随后直接部署于真实机器人。
• 该方法利用关键点几何结构同时指导姿态估计与策略学习，从而增强鲁棒性。

实验结果

研究问题

• RQ1 能否仅通过3D模型生成的合成数据，在无需真实世界标注的情况下，实现对低成本机器人臂的精确3D姿态估计？
• RQ2 利用关键点间几何约束的半监督方法，在弥合模拟到真实域差距方面有多高效？
• RQ3 在模拟环境中训练的基于视觉的控制策略能否成功迁移到真实世界的机器人操作任务中？
• RQ4 该方法在仅依赖3D模型的前提下，对其他多刚体系统的泛化能力如何？
• RQ5 当不使用任何真实图像标注时，该方法在真实世界数据集上的性能表现如何？

主要发现

• 所提出的方法在两个真实世界数据集上实现了强劲的3D姿态估计性能，且完全无需真实图像标注。
• 利用几何约束的半监督方法能从合成数据良好泛化至真实世界图像，在域偏移场景下优于基线方法。
• 基于视觉的控制体系在模拟环境中训练后，成功在真实机器人臂上执行任务，证明了有效的模拟到真实迁移能力。
• 该方法在仅依赖3D模型与几何先验的前提下，展现出向其他多刚体系统的泛化潜力。
• 迭代优化过程通过在虚拟领域中强制关键点配置的一致性，提升了预测精度。
• 该方法在保持真实世界部署高性能的同时，显著降低了对昂贵真实世界数据采集的依赖。