[论文解读] Recurrent Vision Transformers for Object Detection with Event Cameras

Mathias Gehrig, Davide Scaramuzza|Zurich Open Repository and Archive (University of Zurich)|Dec 11, 2022

Advanced Memory and Neural Computing被引用 7

一句话总结

本文提出了一种新型骨干网络——循环视觉Transformer（RVTs），用于事件相机下的目标检测，在Gen1数据集上实现了47.2%的SOTA mAP，同时在T4 GPU上将推理时间降低至12ms以内，并将参数量相比之前方法减少5倍。该方法通过多阶段设计，结合卷积先验、局部与空洞全局自注意力机制，以及使用普通LSTM而非卷积LSTM实现高效循环特征聚合，从而实现高效性能。

ABSTRACT

We present Recurrent Vision Transformers (RVTs), a novel backbone for object detection with event cameras. Event cameras provide visual information with sub-millisecond latency at a high-dynamic range and with strong robustness against motion blur. These unique properties offer great potential for low-latency object detection and tracking in time-critical scenarios. Prior work in event-based vision has achieved outstanding detection performance but at the cost of substantial inference time, typically beyond 40 milliseconds. By revisiting the high-level design of recurrent vision backbones, we reduce inference time by a factor of 6 while retaining similar performance. To achieve this, we explore a multi-stage design that utilizes three key concepts in each stage: First, a convolutional prior that can be regarded as a conditional positional embedding. Second, local and dilated global self-attention for spatial feature interaction. Third, recurrent temporal feature aggregation to minimize latency while retaining temporal information. RVTs can be trained from scratch to reach state-of-the-art performance on event-based object detection - achieving an mAP of 47.2% on the Gen1 automotive dataset. At the same time, RVTs offer fast inference (<12 ms on a T4 GPU) and favorable parameter efficiency (5 times fewer than prior art). Our study brings new insights into effective design choices that can be fruitful for research beyond event-based vision.

研究动机与目标

• 弥合事件相机在超低延迟方面的潜力与现有检测模型高推理时间（>40ms）之间的差距。
• 设计一种视觉Transformer骨干网络，在保持高检测精度的同时，显著降低计算延迟与参数量。
• 探索宏观层面的架构选择——尤其是循环机制与注意力机制——以实现在无专用硬件的常规GPU上高效、实时推理。
• 在自动驾驶等时序关键应用中，实现模型性能、推理速度与参数效率之间的理想权衡。

提出的方法

• 提出一种多阶段分层骨干网络，其中每个阶段应用卷积先验，以提供空间归纳偏置，并作为条件位置嵌入。
• 集成局部与空洞全局自注意力机制，以线性复杂度在输入分辨率下高效捕捉局部与长程空间依赖关系。
• 用轻量级、通道独立的普通LSTM单元替代计算密集的卷积LSTM单元，实现参数与延迟更低的高效时间特征聚合。
• 使用标准检测框架从头训练整个RVT架构，确保与现有目标检测流水线的兼容性。
• 利用PyTorch的JIT编译进一步加速推理，尤其在小型模型上表现显著，实现在高端GPU上推理时间低于3ms。
• 采用单一可复用的阶段设计，通过堆叠四阶段构建完整骨干网络，简化部署与超参数调优。

Figure 1 : Detection performance vs inference time of our RVT models on the 1 Mpx detection dataset using a T4 GPU. The circle areas are proportional to the model size.

实验结果

研究问题

• RQ1 基于视觉Transformer的骨干网络是否能在标准GPU上实现事件相机目标检测的高精度与低推理延迟？
• RQ2 将卷积LSTM替换为普通LSTM单元，在事件相机检测任务中对性能与效率有何影响？
• RQ3 局部与空洞全局自注意力机制在建模事件流的时空特征方面，能在多大程度上替代传统的卷积或图神经网络操作？
• RQ4 强大的卷积先验是否可作为Transformer架构中事件数据的有效条件位置嵌入？
• RQ5 架构的宏观设计选择（如循环结构位置与注意力类型）对事件视觉中性能-延迟权衡的影响如何？

主要发现

• RVT在Gen1车载数据集上实现了47.2%的新SOTA mAP，优于此前方法（包括ASTMNet与RED）。
• 基础RVT模型在Gen1数据集上的推理时间为10.2ms，在1 Mpx数据集上为11.9ms（使用T4 GPU），相比之前SOTA方法延迟降低6倍。
• 通过PyTorch的JIT编译，基础RVT模型在1 Mpx数据集上的推理时间进一步降低至2.8ms（RTX 3090 GPU）。
• 微型RVT模型在Gen1数据集上的mAP比RED模型高出4.1%，同时参数量仅为18.5M（对比92M），减少5倍。
• RVT骨干网络将参数量从先前工作的100M降至18.5M，实现5倍的参数效率提升，且未牺牲性能。
• 即使在无事件输入的间隔期间，模型仍保持稳健的检测性能，但当完全无事件时性能下降，表明未来工作需结合帧信息实现多模态融合。

Figure 2 : Overview of the unrolled computation graph of our multi-stage recurrent backbone. Events are processed into a tensor representation before they are used as input to the first stage. Each stage also reuses the LSTM states (c: cell, h: hidden) from the previous timestep. Finally, the detect