[论文解读] Picking a Conveyor Clean by an Autonomously Learning Robot

Janne V. Kujala, Tuomas J. Lukka+1 more|arXiv (Cornell University)|Nov 24, 2015

Robot Manipulation and Learning参考文献 6被引用 5

一句话总结

本文提出了一种自主学习的机器人系统，通过抓取器传感器的实时反馈和增量式机器学习，提升在传送带上对新型不规则废弃物物体的抓取性能。该系统可自动校准，通过几何模型采样抓取姿态，并随时间推移提高成功率，在无须人工干预的情况下成功分类了80个物体中的70个。

ABSTRACT

We present a research picking prototype related to our company's industrial waste sorting application. The goal of the prototype is to be as autonomous as possible and it both calibrates itself and improves its picking with minimal human intervention. The system learns to pick objects better based on a feedback sensor in its gripper and uses machine learning to choosing the best proposal from a random sample produced by simple hard-coded geometric models. We show experimentally the system improving its picking autonomously by measuring the pick success rate as function of time. We also show how this system can pick a conveyor belt clean, depositing 70 out of 80 objects in a difficult to manipulate pile of novel objects into the correct chute. We discuss potential improvements and next steps in this direction.

研究动机与目标

• 开发一种机器人系统，实现对新型不规则废弃物物体的自主抓取性能提升，且人工干预最少。
• 通过简化的自动程序实现机器人与传感器系统的自我校准。
• 通过反馈驱动学习减少对人工标注或硬编码抓取规则的依赖。
• 展示在真实工业废弃物分拣场景中实现自主学习的可行性。
• 探索强化学习与传感器反馈在非结构化环境中实现稳健、自适应抓取的潜力。

提出的方法

• 系统使用3D摄像头（Asus Xtion）和带有宽开合、柔顺夹爪的龙门式机器人，捕获深度图像并执行抓取操作。
• 采用投影变换将3D摄像头的坐标自动校准至机器人的龙门坐标系。
• 将深度图像投影为等距高度图，将被遮挡区域标记为未知，以提升抓取规划效果。
• 采用两阶段学习方法：硬编码的几何模型生成候选抓取抓手，机器学习模型根据反馈选择最佳方案。
• 每10秒使用所有先前抓取尝试的数据重新训练学习模型，实现增量式性能提升。
• 来自夹爪的反馈（如力或开合状态）决定抓取是否成功，从而指导学习过程。

实验结果

研究问题

• RQ1 机器人能否在无须人工标注的情况下，自主提升对新型不规则废弃物物体的抓取成功率？
• RQ2 在真实、非结构化的工业环境中，基于反馈的增量学习效果如何？
• RQ3 自我校准与传感器反馈在多大程度上可减少对手动系统调校的需求？
• RQ4 使用单个非顶部安装的3D摄像头对抓取规划与性能有何影响？
• RQ5 系统如何处理阴影、细长物体或抓取过程中的物体滑落等挑战性情况？

主要发现

• 系统通过反馈实现了有效的增量学习，随时间推移自主提升了抓取成功率。
• 经过初始学习阶段后，机器人成功将80个物体中的70个送入正确的滑槽，处理了复杂且新颖的堆叠。
• 尽管缺少顶部摄像头，系统仍实现了可靠性能，完全依赖单个侧装3D摄像头。
• 学习模型通过避免低分抓取并过滤噪声或阴影引起的误报，减少了失败抓取。
• 系统对物体滑落具有鲁棒性，可重试失败抓取，从而最小化低成功率的影响。
• 原型系统循环时间约为6秒，表明其具备向生产级速度优化的潜力。