[论文解读] Temporal-Channel Transformer for 3D Lidar-Based Video Object Detection in Autonomous Driving

Zhenxun Yuan, Xiao Song+4 more|arXiv (Cornell University)|Nov 27, 2020

Advanced Optical Sensing Technologies参考文献 37被引用 6

一句话总结

该论文提出了一种名为时序-通道变换器（TCTR）的新颖Transformer架构，通过建模3D LiDAR视频数据中的空间、时序和通道相关性，以提升单帧目标检测性能。通过在编码器中编码多帧、多通道特征，并利用门控优化模块解码当前帧的体素表示，TCTR在nuScenes基准上实现了50.47 mAP的最先进性能，相较于单帧基线模型和多帧基线模型分别提升了7.4和5.1 mAP。

ABSTRACT

The strong demand of autonomous driving in the industry has lead to strong interest in 3D object detection and resulted in many excellent 3D object detection algorithms. However, the vast majority of algorithms only model single-frame data, ignoring the temporal information of the sequence of data. In this work, we propose a new transformer, called Temporal-Channel Transformer, to model the spatial-temporal domain and channel domain relationships for video object detecting from Lidar data. As a special design of this transformer, the information encoded in the encoder is different from that in the decoder, i.e. the encoder encodes temporal-channel information of multiple frames while the decoder decodes the spatial-channel information for the current frame in a voxel-wise manner. Specifically, the temporal-channel encoder of the transformer is designed to encode the information of different channels and frames by utilizing the correlation among features from different channels and frames. On the other hand, the spatial decoder of the transformer will decode the information for each location of the current frame. Before conducting the object detection with detection head, the gate mechanism is deployed for re-calibrating the features of current frame, which filters out the object irrelevant information by repetitively refine the representation of target frame along with the up-sampling process. Experimental results show that we achieve the state-of-the-art performance in grid voxel-based 3D object detection on the nuScenes benchmark.

研究动机与目标

• 通过利用相邻帧的时序上下文，解决自动驾驶中稀疏3D LiDAR点云的挑战。
• 通过建模多帧LiDAR数据中复杂的空间、时序和通道相关性，提升检测精度。
• 通过可学习的门控机制过滤掉与目标无关的信息，优化特征表示。
• 利用体素级别的注意力机制，为当前帧生成密集、精确且上下文增强的特征图。

提出的方法

• 时序-通道变换器（TCTR）采用独特的编码器-解码器结构：编码器处理多帧、多通道特征，以捕捉帧间与通道间的相关性。
• 解码器通过关注时间与通道维度上的相关特征，重建当前帧的密集体素表示。
• 编码器中将压缩输入帧的每个通道视为独立的token，而目标帧中的每个体素则作为解码器的查询。
• 门控机制被应用于重新加权来自当前帧和优化后表示的特征，在上采样过程中选择性地抑制与目标无关的信息。
• 模型整合最多7帧的输入特征，以增强目标帧的特征密度与鲁棒性。
• 该框架运行于基于特征的3D目标检测流程中，将原始点云转换为2D伪图像以实现高效处理。

实验结果

研究问题

• RQ1 如何有效建模多帧LiDAR数据之间的时序与通道相关性，以提升3D目标检测性能？
• RQ2 基于Transformer的架构是否能在捕捉LiDAR视频中的长程时空依赖关系方面超越RNN类方法（如ConvLSTM和ConvGRU）？
• RQ3 门控特征优化模块在通过过滤无关上下文信息方面，能在多大程度上提升检测性能？
• RQ4 在基于视频的3D目标检测系统中，输入帧的数量在多大程度上影响检测精度？

主要发现

• 所提出的TCTR模型在nuScenes基准上实现了50.47 mAP，创下新的最先进性能记录。
• 相较于单帧基线模型，性能提升7.4 mAP；相较于先前最先进多帧方法，性能提升5.1 mAP。
• 消融实验表明，通过TC-编码器同时建模时序与通道相关性，优于忽略任一维度的方法（如仅使用T-编码器或C-编码器）。
• 门控特征优化模块（FRM）实现50.47 mAP，优于拼接（49.21 mAP）与加法（49.37 mAP）融合策略。
• 随着输入帧数增加，性能持续提升，使用7帧时达到44.68 mAP，证明了更长上下文聚合的价值。
• 该模型设计能有效减少来自无关环境特征的噪声，同时通过注意力与门控机制增强与目标相关的特征表示。