[论文解读] Video Object Detection with an Aligned Spatial-Temporal Memory

Fanyi Xiao, Yong Jae Lee|arXiv (Cornell University)|Dec 18, 2017

Advanced Image and Video Retrieval Techniques被引用 4

一句话总结

该论文提出了一种用于视频目标检测的时空记忆网络（STMN），通过一种新颖的时空记忆模块（STMM）整合预训练的ImageNet权重，并引入MatchTrans模块实现帧间时空对齐。该方法在ImageNet VID数据集上达到最先进性能，使用Fast-RCNN和VGG-16时mAP达到50.7%，证明了预训练权重与运动感知对齐在长期视频理解中的关键作用。

ABSTRACT

We introduce Spatial-Temporal Memory Networks for video object detection. At its core, a novel Spatial-Temporal Memory module (STMM) serves as the recurrent computation unit to model long-term temporal appearance and motion dynamics. The STMM's design enables full integration of pretrained backbone CNN weights, which we find to be critical for accurate detection. Furthermore, in order to tackle object motion in videos, we propose a novel MatchTrans module to align the spatial-temporal memory from frame to frame. Our method produces state-of-the-art results on the benchmark ImageNet VID dataset, and our ablative studies clearly demonstrate the contribution of our different design choices. We release our code and models at http://fanyix.cs.ucdavis.edu/project/stmn/project.html.

研究动机与目标

• 为解决现有视频目标检测器将时间信息视为后处理或使用固定长度窗口的局限性。
• 在保留空间定位与特征完整性的同时，建模视频中的长期外观与运动动态。
• 通过将预训练的ImageNet权重集成到特征头与预测头中，实现时间依赖关系的端到端学习。
• 通过利用早期更简单帧的记忆，提升在遮挡、姿态变化和运动模糊等挑战性条件下的检测鲁棒性。

提出的方法

• 该方法的核心是时空记忆模块（STMM），一种卷积递归单元，可在帧之间保持空间感知记忆。
• STMM完全整合了来自ImageNet的预训练权重，用于特征提取器与预测头，从而提升泛化能力与收敛速度。
• 提出了一种新型MatchTrans模块，显式建模帧间二维运动位移，以对齐空间记忆中的特征，实现精确的像素级时间聚合。
• 通过使用带有ReLU激活的门控递归机制逐帧更新记忆，替代标准的Sigmoid与Tanh，以更好地匹配预训练权重。
• 通过ROI池化直接从对齐的记忆中提取感兴趣区域（ROI）特征，实现高效的检测推理。
• 模型采用标准检测头进行端到端训练，推理支持可变长度测试窗口，以捕捉长程依赖关系。

实验结果

研究问题

• RQ1 将预训练的ImageNet权重整合到特征头与预测头中，对视频目标检测性能有何影响？
• RQ2 通过MatchTrans实现的时空对齐，在运动与视角变化下对检测准确率的提升程度如何？
• RQ3 在使用相同预训练权重的情况下，所提出的STMM与标准ConvGRU相比性能如何？
• RQ4 测试窗口长度对检测准确率的影响如何？记忆利用效率如何随序列长度变化？
• RQ5 所提出方法在不同主干网络与基础检测器上是否具备泛化能力，同时保持最先进性能？

主要发现

• 所提出的STMN在使用Fast-RCNN与VGG-16时，在ImageNet VID验证集上达到50.7%的mAP，优于所有消融实验的基线模型。
• 移除MatchTrans模块（STMN-No-MatchTrans）导致mAP下降1.7%（至49.0%），证明了空间对齐的重要性。
• 使用预训练权重的ConvGRU（ConvGRU-Pretrain）获得48.0%的mAP，而完整STMN结合ReLU与预训练权重的mAP达到50.7%，表明架构兼容性的优势。
• 模型性能随测试窗口变长而提升：窗口大小从7增至15时，mAP提高1.0%，表明长程记忆利用有效。
• STMM的计算开销极低，在Titan X GPU上每帧仅增加0.028秒（11帧共0.31秒）。
• 消融实验确认，同时使用预训练权重初始化特征头与预测头至关重要；若随机初始化（ConvGRU-FreshFC），mAP仅达44.8%。