[论文解读] TrimBot2020: an outdoor robot for automatic gardening

Nicola Strisciuglio, Radim Tyleček+10 more|University of Groningen research database (University of Groningen / Centre for Information Technology)|Apr 5, 2018

Smart Agriculture and AIAgricultural and Biological Sciences参考文献 18被引用 20

一句话总结

TrimBot2020 提出了一种用于自主修剪灌木和玫瑰花的新型户外机器人平台，该平台在改装的割草机底盘上集成了一台 Kinova 机械臂和一个360°五边形立体摄像头阵列。该系统采用多传感器融合、视觉-惯性里程计以及语义3D重建技术，在复杂花园环境中实现导航，检测并建模不规则植物形状，并在动态条件下执行精确修剪，标志着向面向消费者的园艺机器人迈出了关键一步。

ABSTRACT

Robots are increasingly present in modern industry and also in everyday life. Their applications range from health-related situations, for assistance to elderly people or in surgical operations, to automatic and driver-less vehicles (on wheels or flying) or for driving assistance. Recently, an interest towards robotics applied in agriculture and gardening has arisen, with applications to automatic seeding and cropping or to plant disease control, etc. Autonomous lawn mowers are succesful market applications of gardening robotics. In this paper, we present a novel robot that is developed within the TrimBot2020 project, funded by the EU H2020 program. The project aims at prototyping the first outdoor robot for automatic bush trimming and rose pruning.

研究动机与目标

• 开发一种完全自主的户外机器人，能够在非结构化的花园环境中实现导航并执行精确修剪任务。
• 解决在具有复杂植物几何形状、高度纹理化、光照变化剧烈且动态的户外环境中进行视觉导航与目标识别的挑战。
• 整合先进的机器人技术、计算机视觉与机电一体化技术，实现实时3D重建、语义分割以及对不规则形状灌木和绿雕的切割工具伺服控制。
• 通过传感器融合与自适应控制，在真实环境下实现稳定运行，包括由风引起的植物摆动、地形不规则性以及光照变化。
• 展示一个原型系统，能够实现从花园地图构建到目标修剪的端到端自动化，基于商用割草机平台，通过加装机械臂和多摄像头阵列实现增强。

提出的方法

• 采用改装后的 Bosch Indigo 割草机作为移动底盘，配备 Kinova 机械臂和稳定装置，以减少切割过程中的底盘振动。
• 采用五组立体摄像头对（RGB 和灰度）组成的五边形阵列，实现360°视觉覆盖，用于同时定位与地图构建（SLAM）。
• 利用惯性测量单元（IMU）和立体深度估计实现视觉-惯性里程计，以在动态户外环境中实现鲁棒、实时的3D重建与定位。
• 采用多基线立体视觉与语义分割技术（如基于深度学习的方法），在RGB和深度数据中检测并分类植物目标，如绿雕和玫瑰灌木。
• 结合几何建模与专家修剪知识，根据目标形状和植物形变动力学，确定最优切割路径与工具轨迹。
• 采用伺服控制策略，考虑植物柔韧性和风致运动的影响，利用来自视觉和力传感的实时反馈，确保切割过程中的精度。

实验结果

研究问题

• RQ1 移动机器人如何在具有复杂纹理和光照变化的非结构化、动态户外花园环境中实现稳定、精确的导航与操作？
• RQ2 哪些多传感器融合与3D重建技术能够实现对绿雕和玫瑰灌木等不规则植物形状的可靠语义场景理解与目标检测？
• RQ3 视觉-惯性 SLAM 与实时深度估计如何适应户外环境中的挑战，如强直射阳光、阴影以及风致运动？
• RQ4 哪些控制与规划策略可使机械臂在柔性、可变形植物结构上实现精确、自适应的修剪，同时保证安全与效率？
• RQ5 消费级机器人平台在集成先进视觉与控制系统后，能在多大程度上实现户外园艺任务的端到端自动化？

主要发现

• TrimBot2020 原型机成功在真实户外花园环境中实现了自主导航与修剪，包括在光照和风力条件变化下进行复杂绿雕和玫瑰灌木的修剪。
• 360°立体摄像头阵列实现了鲁棒的视觉里程计与密集3D重建，在高度纹理化和动态环境中仍能实现精确的定位。
• RGB与灰度立体摄像头对的集成显著提升了在挑战性光照条件下的性能，其中灰度相机在强直射阳光下仍能提供稳定的深度估计。
• 语义分割与3D植物建模使机器人能够识别修剪目标，并基于几何特征与专家知识计算最优切割路径。
• 机器人底盘上的稳定装置显著减少了切割过程中的振动，提升了机械臂运动与工具定位的精度。
• 该系统展示了在户外园艺中实现从环境建图到目标修剪的端到端自动化的可行性，标志着园艺领域消费级机器人技术的重要进展。