[论文解读] ROS georegistration: Aerial Multi-spectral Image Simulator for the Robot Operating System

Andrew Willis, Kevin Brink+1 more|arXiv (Cornell University)|Jan 19, 2022

Robotics and Sensor-Based Localization被引用 4

一句话总结

本文提出 ROSgeoregistration，一个基于 ROS/Gazebo 的仿真器，将 Google Earth Engine 的多光谱影像与高保真、地理空间和辐射度准确的机载光电（EO）及合成孔径雷达（SAR）影像仿真相结合。该工具可在真实、可扩展的 UAS 仿真环境中，实现传感器数据（EO/SAR、IMU、GPS）与真实位姿的实时同步仿真，支持基于图像的导航与地理配准算法的测试，并完全集成于 ROS 生态系统。

ABSTRACT

This article describes a software package called ROS georegistration intended for use with the Robot Operating System (ROS) and the Gazebo 3D simulation environment. ROSgeoregistration provides tools for the simulation, test and deployment of aerial georegistration algorithms and is made available with a link provided in the paper. A model creation package is provided which downloads multi-spectral images from the Google Earth Engine database and, if necessary, incorporates these images into a single, possibly very large, reference image. Additionally a Gazebo plugin which uses the real-time sensor pose and image formation model to generate simulated imagery using the specified reference image is provided along with related plugins for UAV relevant data. The novelty of this work is threefold: (1) this is the first system to link the massive multi-spectral imaging database of Google's Earth Engine to the Gazebo simulator, (2) this is the first example of a system that can simulate geospatially and radiometrically accurate imagery from multiple sensor views of the same terrain region, and (3) integration with other UAS tools creates a new holistic UAS simulation environment to support UAS system and subsystem development where real-world testing would generally be prohibitive. Sensed imagery and ground truth registration information is published to client applications which can receive imagery synchronously with telemetry from other payload sensors, e.g., IMU, GPS/GNSS, barometer, and windspeed sensor data. To highlight functionality, we demonstrate ROSgeoregistration for simulating Electro-Optical (EO) and Synthetic Aperture Radar (SAR) image sensors and an example use case for developing and evaluating image-based UAS position feedback, i.e., pose for image-based Guidance Navigation and Control (GNC) applications.

研究动机与目标

• 解决 GPS 失效导航研究中真实、多光谱、地理参考的航空影像获取受限的问题。
• 支持 UAS 系统与子系统开发的同步、实时传感器数据（EO/SAR、IMU、GPS、气压计）仿真。
• 提供一个全面的、与 ROS 集成的仿真环境，支持基于图像的制导、导航与控制（GNC）端到端测试。
• 弥合大规模地球观测数据（Google Earth Engine）与高保真飞行仿真（Gazebo/ROS）之间的差距。
• 支持 EO 到 EO 与 EO 到 SAR 图像匹配的地理配准算法开发与评估。

提出的方法

• 系统使用模型创建工具包，自动从 Google Earth Engine 下载多光谱影像，并将其拼接为大尺寸、地理参考的基准影像。
• 通过自定义 Gazebo 插件，利用基准影像和精确的相机/传感器位姿与成像模型，实时生成特定传感器的仿真影像。
• 仿真器支持多种传感器模态，包括 EO 和 SAR，其辐射度与几何保真度与真实世界条件一致。
• 同步发布遥测数据（IMU、GPS、空速、磁力计）与影像，以支持数据融合与真实值评估。
• 系统支持 UAS 传感器与导航全流程的实时、非实时及回放模式仿真。
• 与现有 ROS 工具及无人机仿真框架集成，构建出一个统一、可扩展的仿真环境。

实验结果

研究问题

• RQ1 仿真框架能否有效连接 Google Earth Engine 的多光谱数据库与 Gazebo/ROS 生态系统，以实现真实的 UAS 仿真？
• RQ2 能否从同一地形区域生成地理空间与辐射度准确的 EO 和 SAR 影像，并保持视角间一致的位姿与传感器建模？
• RQ3 该仿真器在多大程度上能够支持基于图像的导航与地理配准算法的开发与评估？
• RQ4 基于特征的方法与基于互信息的方法在模拟的 EO 到 EO 与 EO 到 SAR 影像对上的表现如何？
• RQ5 该仿真器能否支持具有同步、真实准确传感器数据的高海拔、真实 UAS 飞行剖面，以支持导航研发？

主要发现

• 仿真器成功将 Google Earth Engine 的多光谱数据库与 Gazebo 及 ROS 连接，实现了大规模参考地形地图的自动化获取与拼接。
• 系统能够从同一参考地形生成地理空间与辐射度准确的 EO 和 SAR 影像，且在不同视角间保持一致的位姿与传感器建模。
• 基于特征的匹配方法（ORB 搭配 RANSAC）在 EO 到 EO 图像配准中表现良好，其同调变换估计结果经真实值验证准确。
• 基于互信息的配准方法在 EO 到 SAR 匹配中优于基于特征的方法，展现出对模态差异的强鲁棒性。
• 仿真器同步提供真实准确的遥测数据（IMU、GPS 等）与影像，支持图像辅助导航流程的端到端测试。
• 该工具支持 UAS 传感器与导航系统全流程的实时与非实时仿真，适用于科研与研发工作流。