[论文解读] Object Detection in Video with Spatiotemporal Sampling Networks

Gedas Bertasius, Lorenzo Torresani+1 more|arXiv (Cornell University)|Mar 15, 2018

Advanced Neural Network Applications参考文献 6被引用 30

一句话总结

该论文提出了一种时空采样网络（STSN），通过在空间和时间维度上使用可变形卷积，学习从相邻帧中采样特征，从而提升视频目标检测性能。该方法在无需光流监督或复杂光流网络训练的情况下，在ImageNet VID上实现了最先进（SOTA）的准确率，通过端到端、可微分的特征聚合方式，增强了对遮挡和运动模糊的鲁棒性。

ABSTRACT

We propose a Spatiotemporal Sampling Network (STSN) that uses deformable convolutions across time for object detection in videos. Our STSN performs object detection in a video frame by learning to spatially sample features from the adjacent frames. This naturally renders the approach robust to occlusion or motion blur in individual frames. Our framework does not require additional supervision, as it optimizes sampling locations directly with respect to object detection performance. Our STSN outperforms the state-of-the-art on the ImageNet VID dataset and compared to prior video object detection methods it uses a simpler design, and does not require optical flow data for training.

研究动机与目标

• 为解决在运动模糊、遮挡和散焦等条件下导致静态图像检测器性能下降的挑战。
• 开发一种能有效利用时间信息但无需依赖光流或额外监督的视频目标检测框架。
• 设计一种更简单、可端到端训练的架构，超越现有方法，同时避免联合光流与检测训练的复杂性。
• 通过从时间相邻帧中学习采样相关特征，实现对挑战性视频帧的鲁棒检测。

提出的方法

• STSN使用在空间和时间维度上同时操作的可变形卷积，从相邻视频帧中采样特征。
• 通过优化检测性能，网络端到端学习最优采样位置，无需显式光流监督。
• 一个采样模块预测偏移向量，以确定在支持帧中使用哪些特征点来计算参考帧中的激活值。
• 模型在带有边界框标注的视频帧上进行端到端训练，使时间一致性自然地从损失函数中涌现。
• 该架构避免了对独立光流网络的需求，降低了训练复杂度和数据需求。
• 通过可微分采样执行特征聚合，支持通过时间连接进行反向传播。

实验结果

研究问题

• RQ1 视频目标检测模型能否在无光流监督的情况下，通过从相邻帧中采样特征来提升检测准确率？
• RQ2 与使用后处理或基于光流的聚合方法相比，端到端学习时空采样有何优势？
• RQ3 时空特征采样在多大程度上能提升视频检测对遮挡和运动模糊的鲁棒性？
• RQ4 更简单的统一架构能否超越需要光流数据的复杂多流模型？

主要发现

• STSN在ImageNet VID数据集上实现了最先进性能，超越了包括使用光流的FGFA在内的先前方法。
• 该模型通过利用时间相邻帧中的特征，显著提升了受遮挡、运动模糊或散焦影响帧的检测准确率。
• 尽管未在光流数据上进行训练，STSN仍能学习到与物体位置对齐的准确运动感知采样偏移。
• 该方法可纠正静态单帧检测器的检测错误，例如将遮挡物体误分类或漏检部分可见实例。
• 消融实验证实，时空采样机制对性能提升至关重要，尤其在具有挑战性的视觉条件下。