[论文解读] Neuromorphic Vision Based Control for the Precise Positioning of Robotic Drilling Systems

Abdulla Ayyad, Mohamad Halwani+4 more|arXiv (Cornell University)|Jan 5, 2022

Advanced Surface Polishing Techniques被引用 4

一句话总结

该论文提出了一种基于神经形态视觉的机器人制孔控制系统的首个实现，采用事件相机在非结构化、低光照环境中实现了亚毫米级定位精度。该方法结合多视角三维重建与事件触发的圆形孔洞检测，以及混合的位置基与图像基视觉伺服控制，实现了在不同光照和运动条件下对多个工件的平均位置误差小于0.1 mm。

ABSTRACT

The manufacturing industry is currently witnessing a paradigm shift with the unprecedented adoption of industrial robots, and machine vision is a key perception technology that enables these robots to perform precise operations in unstructured environments. However, the sensitivity of conventional vision sensors to lighting conditions and high-speed motion sets a limitation on the reliability and work-rate of production lines. Neuromorphic vision is a recent technology with the potential to address the challenges of conventional vision with its high temporal resolution, low latency, and wide dynamic range. In this paper and for the first time, we propose a novel neuromorphic vision based controller for faster and more reliable machining operations, and present a complete robotic system capable of performing drilling tasks with sub-millimeter accuracy. Our proposed system localizes the target workpiece in 3D using two perception stages that we developed specifically for the asynchronous output of neuromorphic cameras. The first stage performs multi-view reconstruction for an initial estimate of the workpiece's pose, and the second stage refines this estimate for a local region of the workpiece using circular hole detection. The robot then precisely positions the drilling end-effector and drills the target holes on the workpiece using a combined position-based and image-based visual servoing approach. The proposed solution is validated experimentally for drilling nutplate holes on workpieces placed arbitrarily in an unstructured environment with uncontrolled lighting. Experimental results prove the effectiveness of our solution with an average positional errors of less than 0.1 mm, and demonstrate that the use of neuromorphic vision overcomes the lighting and speed limitations of conventional cameras.

研究动机与目标

• 解决传统帧相机在机器人加工中对光照变化敏感和运动模糊等问题的局限性。
• 实现在光照不可控、动态条件下的非结构化工业环境中高精度、实时的机器人制孔。
• 开发完整的神经形态视觉处理流程，利用异步事件数据实现三维工件定位与末端执行器精确定位。
• 在真实制孔任务中验证系统在复杂环境下的鲁棒性与精度，尤其针对航空航天和汽车制造等关键应用。
• 证明神经形态视觉作为高精度自动化制造中可靠感知技术的可行性。

提出的方法

• 系统采用两阶段感知：首先，基于事件相机数据的多视角重建，用于估计工件的初始三维位姿。
• 其次，提出一种新型事件触发的圆形孔洞检测算法，通过轮廓拟合与基于模型的检测，在局部区域精化位姿估计。
• 采用混合视觉伺服策略，结合位置基视觉伺服（PBVS）实现粗对准与图像基视觉伺服（IBVS）实现精细误差校正。
• 神经形态相机（iniVation）捕获异步事件，实现高时间分辨率与低延迟，对快速、精确控制至关重要。
• 机器人系统集成了协作机器人臂、专为制孔设计的末端执行器，以及事件数据的实时处理，实现闭环控制。
• 销孔配合机构提供被动柔顺性，进一步降低最终对齐阶段的残余定位误差。

实验结果

研究问题

• RQ1 在光照不可控与高速运动条件下，神经形态视觉能否克服传统帧相机在机器人制孔中的局限性？
• RQ2 两阶段感知流程能否有效利用神经形态相机的异步事件数据，实现对工件在三维空间中的精确定位？
• RQ3 结合PBVS与IBVS的混合控制策略，能否在基于事件的视觉反馈下实现机器人制孔的亚毫米级精度？
• RQ4 在真实非结构化环境中进行螺母板孔制孔时，系统的定位误差表现如何？
• RQ5 协作机器人与销孔配合机构的柔顺性在多大程度上进一步降低了定位误差？

主要发现

• 所提出的神经形态视觉系统在五种不同工件的全部测试螺母板孔中，实现了平均位置误差小于0.1 mm。
• 所有实验中的最大位置误差为0.183 mm，远低于航空航天与汽车制造的精度要求。
• 系统在光照不可控与高速运动条件下表现出强鲁棒性，有效克服了传统帧相机的关键局限。
• 事件触发的圆形孔洞检测算法即使在低空间分辨率与异步数据条件下，仍能高精度地定位参考孔。
• 多视角重建与局部精化相结合，显著提升了位姿估计精度，优于单阶段方法。
• 协作机器人在销孔配合阶段的被动柔顺性进一步减小了残余误差，提升了整体精度。