[论文解读] The Matter of Time -- A General and Efficient System for Precise Sensor Synchronization in Robotic Computing

Shaoshan Liu, Yu Bo+6 more|arXiv (Cornell University)|Mar 30, 2021

Robotics and Automated Systems参考文献 10被引用 4

一句话总结

本文提出了一种通用的、基于FPGA的机器人计算硬件同步系统，通过在SoC接口处对传感器数据进行时间戳标记，实现了微秒级精度，最大限度地减少了软件引入的延迟。该系统以极低的资源消耗（6.9K LUTs，7.1K寄存器）实现了高精度（LiDAR为±100 μs，相机/IMU为周期级），支持自动驾驶车辆和机器人中的可靠机内与跨机器同步。

ABSTRACT

Time synchronization is a critical task in robotic computing such as autonomous driving. In the past few years, as we developed advanced robotic applications, our synchronization system has evolved as well. In this paper, we first introduce the time synchronization problem and explain the challenges of time synchronization, especially in robotic workloads. Summarizing these challenges, we then present a general hardware synchronization system for robotic computing, which delivers high synchronization accuracy while maintaining low energy and resource consumption. The proposed hardware synchronization system is a key building block in our future robotic products.

研究动机与目标

• 解决机器人系统中精确时间同步的关键挑战，因为传感器错位会导致感知和定位不准确。
• 克服基于软件的时间戳标记方法所引入的可变延迟，从而降低同步精度。
• 设计一种通用的硬件解决方案，支持单台机器人内部（intra-machine）和多台机器人之间（inter-machine）的同步。
• 确保低功耗和低资源消耗，以支持在嵌入式机器人系统中的部署。
• 通过将时间参考从GPS替换为SCLK，使系统适用于太空探索任务。

提出的方法

• 在基于Xilinx Zynq FPGA的SoC上实现同步系统，结合ARM CPU集群与FPGA逻辑，实现混合处理。
• 在传感器接口（如MIPI、CAN、以太网、串行端口）处获取时间戳，而非在主机应用程序处，从而减少抖动和延迟。
• 使用硬件触发电路为相机和IMU生成同步脉冲，实现时间戳的周期级精度。
• 集成精确时间协议（PTP）用于LiDAR帧同步，实现帧间时间偏差小于100 μs。
• 为GPS、IMU、CAN及触发电路定制FPGA逻辑，同时重用Xilinx IP核实现MIPI和以太网接口。
• 利用Arm核心处理协议、配置管理及用户应用接口，将控制逻辑与实时同步逻辑解耦。

实验结果

研究问题

• RQ1 在具有多种传感器类型的现实机器人系统中，如何实现高精度且高效的传感器同步？
• RQ2 哪些关键设计原则能够支持通用同步系统在机内与跨机器场景下的适用性？
• RQ3 与基于软件的方法相比，何时在SoC接口处进行硬件时间戳标记可显著降低时间抖动？
• RQ4 该系统能否在极低资源开销下，对不同传感器（相机、IMU、LiDAR、雷达）保持高精度？
• RQ5 当GPS不可用、需使用SCLK作为时间参考时，系统如何适应太空环境的应用？

主要发现

• 通过在SoC接口处触发传感器并捕获时间戳，系统实现了相机和IMU时间戳的周期级精度。
• 通过PTP实现的LiDAR帧同步表现出小于100 μs的时间偏差，确保了帧间高度一致性。
• 硬件实现仅消耗6.9K LUTs和7.1K寄存器，证明了其在嵌入式部署中具有极低的资源开销。
• 相机与IMU之间40 ms的错时同步将导致VIO位姿估计中产生10 m的平移误差和高达3°的旋转误差，凸显了精确同步的必要性。
• 系统支持机内与跨机器同步，其设计可通过将GPS替换为SCLK作为全局时间源，轻松适配太空任务。
• 在高速应用中，当要求0.5 IoU时，物体检测可容忍的同步误差低至34 ms（在40 m/s速度下），强调了亚毫秒级精度的重要性。