[论文解读] Object Detection in Video with Spatial-temporal Context Aggregation

Hao Luo, Lichao Huang+4 more|arXiv (Cornell University)|Jul 11, 2019

Advanced Image and Video Retrieval Techniques参考文献 32被引用 9

一句话总结

该论文提出了一种用于视频目标检测的提案级别时空上下文聚合（STCA）框架，通过自注意力机制建模跨帧提案之间的语义和时空关系，增强目标提案特征。在无需任何时序后处理或额外标注的情况下，该方法在 ImageNet VID 上实现了 80.3% 的 mAP，优于之前最先进方法 1.4% mAP，较单帧 Faster R-CNN 提升 5.8% mAP。

ABSTRACT

Recent cutting-edge feature aggregation paradigms for video object detection rely on inferring feature correspondence. The feature correspondence estimation problem is fundamentally difficult due to poor image quality, motion blur, etc, and the results of feature correspondence estimation are unstable. To avoid the problem, we propose a simple but effective feature aggregation framework which operates on the object proposal-level. It learns to enhance each proposal's feature via modeling semantic and spatio-temporal relationships among object proposals from both within a frame and across adjacent frames. Experiments are carried out on the ImageNet VID dataset. Without any bells and whistles, our method obtains 80.3\% mAP on the ImageNet VID dataset, which is superior over the previous state-of-the-arts. The proposed feature aggregation mechanism improves the single frame Faster RCNN baseline by 5.8% mAP. Besides, under the setting of no temporal post-processing, our method outperforms the previous state-of-the-art by 1.4% mAP.

研究动机与目标

• 为解决视频目标检测中由于运动模糊、遮挡和图像质量低导致的像素级特征对应估计不稳定的挑战。
• 通过利用提案之间的时空上下文而非像素级特征传播来提升检测精度。
• 开发一种可训练的端到端框架，捕捉帧内和帧间上下文依赖关系，而无需依赖手工设计的变形或光流。
• 通过在训练过程中学习时序一致性，减少对时序后处理技术（如 Seq-NMS）的依赖。
• 在不依赖额外标注（如光流或实例ID）的情况下实现最先进性能。

提出的方法

• 该方法基于 RPN 生成的候选框进行操作，为每帧中的每个候选框提取 ROI 对齐特征。
• 提案级别的特征聚合单元使用自注意力机制，基于内容和时空位置嵌入来建模提案特征之间的依赖关系。
• 显式地在注意力机制中加入空间和时间位置编码，以保留提案之间的几何和时序关系。
• STCA 单元在帧内及相邻帧之间聚合特征，生成增强的表示用于检测。
• 将增强后的特征输入 Faster R-CNN 头部，整个网络端到端训练，无需任何后处理。
• 该框架避免了像素级对应关系估计，因此对运动模糊和图像退化具有鲁棒性。

实验结果

研究问题

• RQ1 与像素级特征聚合相比，基于提案的时空上下文聚合是否能提升视频目标检测的准确性？
• RQ2 可学习的提案级别注意力机制是否优于手工设计的特征变形或基于光流的校准方法？
• RQ3 该模型在多大程度上能不依赖 Seq-NMS 等时序后处理技术，学习到良好的时序一致性？
• RQ4 当不使用额外标注（如光流或实例ID）时，该方法表现如何？
• RQ5 在运动模糊和遮挡等挑战性条件下，该模型是否具备良好的泛化能力？

主要发现

• 所提方法在 ImageNet VID 数据集上达到 80.3% 的 mAP，优于之前最先进方法 1.4% mAP，且在相同评估协议下。
• 在无需任何时序后处理的情况下，该方法比 STSN（78.9% mAP）高出 1.4% mAP，表明其具备强大的内在时序一致性学习能力。
• 相较于单帧 Faster R-CNN 基线，该方法提升了 5.8% mAP，证明了时空上下文聚合带来的显著性能增益。
• 即使不使用光流或实例ID标注，该方法仍达到 80.6% mAP，超过依赖此类标注的最佳方法。
• 时序后处理（如 Seq-NMS）仅在该方法上带来 0.3% mAP 的增益，表明时序一致性已在训练过程中充分学习。
• 可视化结果证实，模型能够关注语义相关且空间/时间上相距较远的提案，从而在多种复杂条件下提升特征质量。