[论文解读] Thermal and Visual Tracking of Photovoltaic Plants for Autonomous UAV inspection

Luca Morando, Carmine Tommaso Recchiuto+3 more|arXiv (Cornell University)|Feb 2, 2022

Power Line Inspection Robots被引用 4

一句话总结

本文提出了一种基于实时热成像与RGB相机的光伏组件追踪技术，实现无人机在光伏电站中沿组件排进行低空、高分辨率自主巡检的系统。通过融合视觉与热成像数据以校正GPS漂移，该系统减少了不必要的数据采集，导航误差低于0.4 m，从而在15 m高度实现精确的缺陷检测。

ABSTRACT

Since photovoltaic (PV) plants require periodic maintenance, using Unmanned Aerial Vehicles (UAV) for inspections can help reduce costs. The thermal and visual inspection of PV installations is currently based on UAV photogrammetry. A UAV equipped with a Global Positioning System (GPS) receiver is assigned a flight zone: the UAV will cover it back and forth to collect images to be later composed in an orthomosaic. The UAV typically flies at a height above the ground that is appropriate to ensure that images overlap even in the presence of GPS positioning errors. However, this approach has two limitations. Firstly, it requires to cover the whole flight zone, including "empty" areas between PV module rows. Secondly, flying high above the ground limits the resolution of the images to be later inspected. The article proposes a novel approach using an autonomous UAV equipped with an RGB and a thermal camera for PV module tracking. The UAV moves along PV module rows at a lower height than usual and inspects them back and forth in a boustrophedon way by ignoring "empty" areas with no PV modules. Experimental tests performed in simulation and an actual PV plant are reported.

研究动机与目标

• 解决传统无人机摄影测量在光伏电站巡检中效率低下的问题，其巡检路径覆盖了组件排之间的空旷区域，且图像分辨率受限。
• 通过开发一种基于传感器的实时校正系统，减少对高精度GPS的依赖，实现无人机沿光伏组件排的精确导航。
• 通过低空飞行实现高分辨率热成像与视觉成像，同时保持与光伏组件排的精确对齐。
• 对比模型驱动与数据驱动的分割方法在不同光照与热成像条件下的光伏组件检测性能。
• 在仿真与真实光伏电站环境中验证系统鲁棒性与准确性。

提出的方法

• 系统采用DJI Matrice 300无人机搭载DJI Zenmuse XT2双光相机（RGB与热成像），实现实时光伏组件检测。
• 基于模型的分割流程通过几何特征与强度特征（包括边缘检测与颜色聚类）在热成像与RGB图像中检测光伏组件。
• 无人机导航系统结合GPS航点规划与视觉伺服控制：利用估计的光伏组件中线位置，在沿排飞行过程中校正GPS漂移。
• 通过融合热成像与RGB数据实现误差校正，提升在次优条件（如热对比度低或强光眩光）下的鲁棒性。
• 系统在排间采用GPS导航，在每排内则采用视觉伺服控制以保持对齐。
• 采用基于机器学习的分割模型（作为ROS可执行文件提供）进行对比，该模型基于专有的热成像数据集进行训练。

实验结果

研究问题

• RQ1 基于实时热成像与RGB图像的光伏组件检测能否实现在低空飞行时沿光伏组件排的精确无人机导航？
• RQ2 与单传感器方法相比，热成像与RGB数据的传感器融合在导航鲁棒性方面有何提升？
• RQ3 与数据驱动的机器学习方法相比，模型驱动的分割方法在多大程度上减少了对大规模标注数据集的依赖？
• RQ4 GPS误差如何影响无人机与光伏组件排的对齐？实时校正能否确保足够的图像重叠与分辨率？
• RQ5 所提出的系统能否实现足够低的导航精度，以确保在15 m高度时光伏组件始终位于相机视场范围内？

主要发现

• 当采用数据驱动神经网络进行热成像分割时，系统导航的均方根误差（RMSE）达到0.368 m，证明了其高精度。
• 模型驱动方法在导航精度上与数据驱动方法相当，但无需依赖大规模、电站特定的训练数据集。
• 同时使用热成像与RGB相机相比单独使用任一传感器，平均导航误差更低，显著提升了在不同光照与热成像条件下的鲁棒性。
• 系统成功在15 m高度保持光伏组件始终位于相机视场范围内，实现了高分辨率图像采集，支持缺陷检测。
• GPS航点导航与沿排视觉伺服控制的结合有效减少了漂移，确保了多排之间的一致对齐。
• 该方法显著减少了在非相关区域（如组件排之间的间隙）的数据采集，提升了巡检效率并降低了处理负载。