[论文解读] Recurrent Neural Networks for video object detection

Ahmad Bin Qasim, Arnd Pettirsch|arXiv (Cornell University)|Oct 29, 2020

Video Surveillance and Tracking Methods参考文献 40被引用 7

一句话总结

本文评估了循环神经网络（RNNs）在视频目标检测中的应用，比较了基于特征的方法、基于框的方法以及基于光流的方法。结果表明，通过RNN引入时序上下文——尤其是采用GRU的多帧SSD架构——在KITTI数据集上mAP最高提升4.4%，在Caltech数据集上提升5%，且速度损失极小，同时表明并行处理多帧可将时序上下文加倍，从而提升性能。

ABSTRACT

There is lots of scientific work about object detection in images. For many applications like for example autonomous driving the actual data on which classification has to be done are videos. This work compares different methods, especially those which use Recurrent Neural Networks to detect objects in videos. We differ between feature-based methods, which feed feature maps of different frames into the recurrent units, box-level methods, which feed bounding boxes with class probabilities into the recurrent units and methods which use flow networks. This study indicates common outcomes of the compared methods like the benefit of including the temporal context into object detection and states conclusions and guidelines for video object detection networks.

研究动机与目标

• 评估循环神经网络在视频目标检测中相对于单帧基线方法的有效性。
• 从准确率和效率角度，比较基于RNN的不同架构（特征级、框级和光流级方法）的性能。
• 识别视频目标检测网络的最佳设计选择，包括帧采样策略、网络深度和尺度处理方法。
• 评估时序上下文（尤其是过去和未来帧）对检测性能的影响。
• 为构建高效且准确的基于RNN的视频目标检测系统提供设计指导。

提出的方法

• 通过在特征提取器和检测头之间插入融合层，将门控循环单元（GRUs）集成到单次检测器（SSD）架构中。
• 将多个连续帧的特征图通过GRUs处理，以学习时序依赖关系，从而提升检测准确率。
• 测试了多种融合策略：逐元素相加、最大池化、拼接和循环单元，其中RNN表现出最优性能。
• 采用SqueezeDet+作为主干网络，以在KITTI和Caltech数据集上实现最佳性能。
• 采用多帧推理策略，利用过去和未来帧，实现双向时序上下文。
• 应用关键帧策略以降低计算负载，同时保持检测质量，在速度与准确率之间实现平衡。

实验结果

研究问题

• RQ1 与单帧检测相比，通过RNN引入时序上下文对视频目标检测性能有何影响？
• RQ2 在视频目标检测中，LSTM与GRU哪种RNN架构在准确率与推理速度之间提供了最佳权衡？
• RQ3 并行处理多帧（使用过去和未来帧）是否能带来比单向或单帧处理更高的mAP？
• RQ4 在整合多帧特征用于目标检测时，不同融合策略（如拼接、相加、RNN）的性能如何比较？
• RQ5 帧率和输入帧数量对检测准确率和计算效率有何影响？

主要发现

• 基于RNN的视频目标检测模型始终优于单帧基线模型，在KITTI数据集上mAP提升2.7%，在Caltech行人数据集上提升5%。
• GRU在性能上与LSTM相当，但训练和推理速度显著更快，因此更适合实时应用。
• 使用过去和未来帧的模型（如“Detect to Track and Track to Detect”）相比单向模型mAP更高，原因在于时序上下文加倍。
• “Scale-Time Lattice”和“Detect to Track”方法在KITTI数据集上达到最高mAP（79.6–82.0），证明了空间与时序建模结合的优势。
• 光流基方法（如DeepFeature Flow）在性能上逊于基于RNN的方法，在ImageNet上的mAP仅为73.9，表明该任务中其收益有限。
• 采用关键帧策略和多尺度特征处理可提升计算效率，同时不损失检测准确率，从而实现实时部署。