[论文解读] Providentia -- A Large-Scale Sensor System for the Assistance of Autonomous Vehicles and Its Evaluation

Annkathrin Krämmer, Christoph Schöller+6 more|arXiv (Cornell University)|Jun 16, 2019

Advanced Neural Network Applications被引用 7

一句话总结

本文提出 Providentia，一种大规模智能基础设施系统，通过利用多模态传感器网络实时构建高速公路交通的高精度数字孪生，从而提升自动驾驶车辆的感知能力。该系统在分布式边缘设备上融合雷达、摄像头和激光雷达的数据，在白天和夜间条件下均实现了高空间分辨率和分类精度，成功通过经验证的数字孪生集成，将自动驾驶车辆的感知范围扩展至其车载传感器的探测范围之外。

ABSTRACT

The environmental perception of an autonomous vehicle is limited by its physical sensor ranges and algorithmic performance, as well as by occlusions that degrade its understanding of an ongoing traffic situation. This not only poses a significant threat to safety and limits driving speeds, but it can also lead to inconvenient maneuvers. Intelligent Infrastructure Systems can help to alleviate these problems. An Intelligent Infrastructure System can fill in the gaps in a vehicle's perception and extend its field of view by providing additional detailed information about its surroundings, in the form of a digital model of the current traffic situation, i.e. a digital twin. However, detailed descriptions of such systems and working prototypes demonstrating their feasibility are scarce. In this paper, we propose a hardware and software architecture that enables such a reliable Intelligent Infrastructure System to be built. We have implemented this system in the real world and demonstrate its ability to create an accurate digital twin of an extended highway stretch, thus enhancing an autonomous vehicle's perception beyond the limits of its on-board sensors. Furthermore, we evaluate the accuracy and reliability of the digital twin by using aerial images and earth observation methods for generating ground truth data.

研究动机与目标

• 为解决自动驾驶车辆车载传感器存在的遮挡和视场受限等局限性，开发一种可扩展的基于基础设施的解决方案。
• 设计并实现一种可靠、实时的智能基础设施系统（IIS），以生成交通环境的高精度数字孪生。
• 使用航拍影像作为真实值，对系统精度和可靠性进行评估，以验证感知性能。
• 展示将数字孪生集成到自动驾驶车辆环境模型中，以扩展其感知范围。

提出的方法

• 在高速公路龙门架上部署包含雷达、摄像头和激光雷达的多模态传感器网络，实现大范围、多角度的监控。
• 在边缘计算节点上实现分布式、低延迟的传感器数据处理，以减少带宽需求并支持实时数据融合。
• 采用基于主时钟的时间同步数据处理的集中式软件栈，确保传感器间的时间一致性。
• 应用先进的检测与数据融合算法，为每个道路使用者生成一致的数字孪生，包含位置、速度、车辆类型和唯一标识符。
• 利用航拍影像和地球观测技术生成真实值，以定量评估系统性能。
• 将数字孪生集成到自动驾驶车辆的环境模型中，以扩展其感知范围。

实验结果

研究问题

• RQ1 智能基础设施系统如何可靠地将自动驾驶车辆的感知范围扩展至其车载传感器的探测范围之外？
• RQ2 在真实高速公路环境下，实现高空间分辨率和分类精度所需的传感器融合与校准技术有哪些？
• RQ3 如何利用航拍影像和遥感技术，以足够高的精度获取大规模IIS评估的真实值？
• RQ4 由IIS生成的数字孪生在多大程度上能够提升自动驾驶车辆的安全性和规划能力？
• RQ5 在实际部署中，此类系统在架构和软件方面面临哪些关键挑战？

主要发现

• Providentia系统在白天和夜间条件下均实现了高检测率和高空间精度，表现出在不同光照和天气条件下的鲁棒性。
• 该系统生成的数字孪生表现出高分类精度，能够正确识别车辆类型，并为每辆检测到的车辆分配唯一标识符。
• 通过将数字孪生集成到自动驾驶车辆的环境模型中，系统成功将车辆的感知范围扩展至其车载传感器的探测范围之外。
• 使用航拍影像作为真实值的评估结果证实了系统的可靠性，定量结果显示检测到的交通状态与参考状态高度一致。
• 该系统展示了实现实时、大规模交通监控的可行性，并可支持交通拥堵检测、逆向行驶车辆识别和车道级交通管理等应用。
• 采用航拍影像的评估方法为评估智能基础设施系统的性能提供了一个可推广的框架。