[论文解读] Vision-based Robot Manipulation Learning via Human Demonstrations
本文提出了一种基于视觉的机器人操作学习框架，仅通过一次第三人称示范即可实现跨物体和环境的泛化。通过结合动作识别、物体检测以及基于文本的先验知识库进行动作-物体推理，该系统在真实世界中执行简单和复杂日常任务时，对新物体和不同情境的适应能力超过90%的成功率。
Vision-based learning methods provide promise for robots to learn complex manipulation tasks. However, how to generalize the learned manipulation skills to real-world interactions remains an open question. In this work, we study robotic manipulation skill learning from a single third-person view demonstration by using activity recognition and object detection in computer vision. To facilitate generalization across objects and environments, we propose to use a prior knowledge base in the form of a text corpus to infer the object to be interacted with in the context of a robot. We evaluate our approach in a real-world robot, using several simple and complex manipulation tasks commonly performed in daily life. The experimental results show that our approach achieves good generalization performance even from small amounts of training data.
研究动机与目标
- 使机器人能够仅通过一次第三人称视觉示范学习复杂操作技能，而无需依赖大量真实世界或仿真训练数据。
- 通过整合关于动作-物体关系的先验知识，提升在多样化物体和环境中的泛化能力。
- 开发一种可扩展、适用于真实世界的观察-模仿学习框架，避免在真实机器人上进行任务特定的数据采集。
- 在不同物体和环境条件下，验证该方法在一系列日常生活操作任务中的有效性。
提出的方法
- 使用深度卷积神经网络（AP-CNN）从人类示范的视频序列中分类动作基元。
- 采用窗口滤波算法从连续动作序列中提取关键动作基元，以改善时序建模。
- Mask R-CNN 执行实例分割和物体检测，以识别机器人视觉范围内的物体身份和三维位姿。
- 主成分分析（PCA）将分割掩码转换为物理量，用于机器人控制。
- 基于贝叶斯概率模型，整合人工整理的日常生活动作-物体对文本语料库，以在任务执行期间推断正确的交互物体。
- 动作规划器利用先验知识库，结合示范动作和环境上下文，推理应操作的物体。
实验结果
研究问题
- RQ1机器人能否仅通过一次第三人称示范，将操作技能泛化到新物体和新环境中？
- RQ2在操作规划中，基于文本的先验知识库在提升物体推断能力方面的有效性如何？
- RQ3视觉动作识别与物体检测在多大程度上能够实现真实世界机器人操作技能的稳健迁移？
- RQ4该系统在涉及未见物体的复杂多步骤操作任务中的表现如何？
主要发现
- 在测试新物体和随机物体放置条件下，系统在五项简单操作任务（如抓取-放置、推开、递送物体）中实现了100%的成功率。
- 在开瓶和倒水任务中，成功率为90%（10次试验中成功9次），表明在物体变化下仍具有良好的泛化能力。
- 在涉及多个子任务的复杂任务中（如清理桌面并递送盒子、打开瓶子并倒入容器），系统在未见物体条件下也实现了90%的成功率（10次试验中成功9次）。
- 失败主要归因于物体检测错误或动作基元提取不一致，表明感知和动作序列建模仍有改进空间。
- 该框架在无需额外真实机器人或仿真数据训练的前提下，在多样化真实世界场景中表现出稳健性能，仅依赖初始感知模型。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。