[论文解读] Teaching Robots to Do Object Assembly using Multi-modal 3D Vision

Weiwei Wan, Lu Feng+2 more|arXiv (Cornell University)|Jan 25, 2016

Robotics and Sensor-Based Localization参考文献 63被引用 4

一句话总结

本文提出了一种用于机器人物体装配的多模态3D视觉系统，在人工教学阶段使用AR标记实现精确位姿估计，并在自主执行阶段结合几何约束进行深度感知，以纠正噪声和部分遮挡。该系统在位姿检测中实现了亚毫米级精度，并通过基于图的运动与装配规划，实现了工业机器人在真实环境中的可靠装配。

ABSTRACT

The motivation of this paper is to develop a smart system using multi-modal vision for next-generation mechanical assembly. It includes two phases where in the first phase human beings teach the assembly structure to a robot and in the second phase the robot finds objects and grasps and assembles them using AI planning. The crucial part of the system is the precision of 3D visual detection and the paper presents multi-modal approaches to meet the requirements: AR markers are used in the teaching phase since human beings can actively control the process. Point cloud matching and geometric constraints are used in the robot execution phase to avoid unexpected noises. Experiments are performed to examine the precision and correctness of the approaches. The study is practical: The developed approaches are integrated with graph model-based motion planning, implemented on an industrial robots and applicable to real-world scenarios.

研究动机与目标

• 开发一种智能机器人装配系统，通过多模态视觉学习人类示范。
• 解决在人工教学与自主机器人执行两个阶段中精确3D视觉检测的挑战。
• 通过融合多种传感模态，克服单一模态方法的局限性（如RGB/标记中的遮挡、点云中的噪声）。
• 将精确的位姿检测与基于图模型的运动与装配规划相结合，实现可靠的任务执行。
• 在真实工业机器人场景中验证系统的可行性与精度。

提出的方法

• 在人工教学阶段为物体附加AR标记，通过RGB图像中的标记检测与变换实现高精度、实时的位姿估计。
• 在机器人执行阶段，通过深度摄像头的点云匹配，以无标记、自动化的方式估计初始物体位姿。
• 利用平面桌面表面的几何约束，对点云产生的噪声或不完整位姿估计进行优化与校正。
• 融合深度数据与外部约束（如平面表面），以稳定位姿估计，降低因部分丢失或传感器噪声导致的误差。
• 实现改进的三层图模型用于运动与装配规划，整合抓取选择、无碰撞路径规划与任务序列安排。
• 将完整流程集成至工业机器人（Kawada Nextage）中，以验证其在真实场景中的适用性与鲁棒性。

实验结果

研究问题

• RQ1 多模态视觉如何提升在AR标记教学阶段的3D物体位姿检测精度？
• RQ2 在存在噪声或遮挡的机器人执行环境中，深度感知与几何约束如何提升位姿估计的准确性？
• RQ3 与独立方法相比，深度数据与平面表面约束的融合在多大程度上减少了位姿估计误差？
• RQ4 所提出的3D检测流程能否有效集成至基于图的运动与装配规划中，实现可靠的机器人执行？
• RQ5 在真实工业机器人场景中，该系统在精度与鲁棒性方面表现如何？

主要发现

• 在人工教学阶段，AR(RGB)模态实现了高精度位姿估计，由于人为主动控制与遮挡规避，未报告显著误差。
• 应用几何约束后，机器人执行阶段的最大位置误差分别降低至x轴-1.1 mm、y轴3.6 mm、z轴0.0 mm。
• 最大姿态误差从滚动角-26.3°、俯仰角26.1°、偏航角-19.5°，分别校正为0.0°、0.0°、-21.4°，表明误差校正效果显著。
• 几何约束融合完全消除了z轴方向以及滚动角和俯仰角的误差，仅在x轴、y轴和偏航角方向出现可忽略的误差增加。
• 改进的三层图模型成功实现了拾取-放置与装配任务的运动规划，规划路径与机器人实际执行路径之间具有清晰对应关系。
• 系统通过在真实工业机器人（Kawada Nextage）上成功执行装配任务，验证了其实际可行性。