[论文解读] Towards High Performance Video Object Detection

Xizhou Zhu, Jifeng Dai+2 more|arXiv (Cornell University)|Nov 30, 2017

Advanced Neural Network Applications参考文献 31被引用 6

一句话总结

该论文提出了一种统一的、端到端的视频实例检测框架，结合了稀疏递归特征聚合、空间自适应部分特征更新以及时间自适应关键帧调度，实现了当前最优的速度-精度权衡。该方法在15.2 fps下达到77.8%的mAP，优于包括ImageNet VID 2017冠军在内的先前方法。

ABSTRACT

There has been significant progresses for image object detection in recent years. Nevertheless, video object detection has received little attention, although it is more challenging and more important in practical scenarios. Built upon the recent works, this work proposes a unified approach based on the principle of multi-frame end-to-end learning of features and cross-frame motion. Our approach extends prior works with three new techniques and steadily pushes forward the performance envelope (speed-accuracy tradeoff), towards high performance video object detection.

研究动机与目标

• 为解决视频实例检测中因运动模糊和外观变化导致的计算成本高和精度下降问题。
• 统一稀疏特征传播与密集特征聚合的优势，同时最小化各自的缺点。
• 通过自适应特征更新与关键帧调度，在不牺牲推理速度的前提下提升检测精度。
• 建立一个原理清晰、端到端可训练的框架，以实现高性能的视频实例检测。

提出的方法

• 提出稀疏递归特征聚合方法，仅在稀疏关键帧上执行密集特征聚合，从而减少计算量，同时保持特征质量。
• 采用空间自适应部分特征更新机制，仅在传播特征质量较低的区域重新计算非关键帧上的特征，且该机制端到端学习。
• 提出时间自适应关键帧调度方法，基于预测的特征质量动态选择关键帧，替代固定的调度策略。
• 将运动估计、特征扭曲和检测整合到一个单一的端到端可训练网络中，实现所有组件的联合优化。
• 使用轻量级光流网络估计后向运动场以实现特征扭曲，从而实现高效且准确的特征传播。
• 采用可变形卷积网络（Deformable R-FCN）作为检测头，以增强在复杂空间配置下的检测精度。

实验结果

研究问题

• RQ1 统一框架能否有效结合稀疏特征传播的效率与密集特征聚合的精度？
• RQ2 如何在不进行完整重新计算的前提下，自适应地提升非关键帧上的特征质量？
• RQ3 基于特征质量预测的动态关键帧调度能否优于固定调度策略，实现更优的速度-精度权衡？
• RQ4 与分阶段训练相比，端到端联合训练运动估计、特征传播与检测在多大程度上能提升性能？

主要发现

• 所提方法在Titan X上以13.0 fps达到78.6%的mAP，在22.9 fps下达到77.8%的mAP，优于ImageNet VID 2017冠军（76.8% mAP，15.4 fps）。
• 稀疏递归聚合与自适应部分更新的结合在精度上优于单独使用[37]或[36]的方法。
• 在高速推理条件下，采用γ = 0.2的时间自适应关键帧调度实现最佳速度-精度权衡。
• 使用FlowNetS并进行联合微调可实现最优速度-精度权衡，凸显快速光流推理的重要性。
• Deformable R-FCN进一步提升性能，证明其在所提框架中的兼容性与有效性。
• 理想关键帧调度策略显著优于基线，验证了自适应调度的潜力。