[论文解读] Optimizing Video Object Detection via a Scale-Time Lattice

Kai Chen, Jiaqi Wang+5 more|arXiv (Cornell University)|Apr 16, 2018

Advanced Neural Network Applications参考文献 25被引用 11

一句话总结

本文提出了一种名为尺度-时间网格（Scale-Time Lattice, ST-Lattice）的统一框架，通过在自适应选择的关键帧上稀疏应用计算成本较高的检测器，并利用轻量级网络在时间和尺度维度上高效传播和优化结果，从而实现视频目标检测的优化。该方法在ImageNet VID数据集上以20 fps的推理速度实现了79.6%的mAP，优于以往工作在速度-精度权衡上的表现，且无需集成或多尺度测试。

ABSTRACT

High-performance object detection relies on expensive convolutional networks to compute features, often leading to significant challenges in applications, e.g. those that require detecting objects from video streams in real time. The key to this problem is to trade accuracy for efficiency in an effective way, i.e. reducing the computing cost while maintaining competitive performance. To seek a good balance, previous efforts usually focus on optimizing the model architectures. This paper explores an alternative approach, that is, to reallocate the computation over a scale-time space. The basic idea is to perform expensive detection sparsely and propagate the results across both scales and time with substantially cheaper networks, by exploiting the strong correlations among them. Specifically, we present a unified framework that integrates detection, temporal propagation, and across-scale refinement on a Scale-Time Lattice. On this framework, one can explore various strategies to balance performance and cost. Taking advantage of this flexibility, we further develop an adaptive scheme with the detector invoked on demand and thus obtain improved tradeoff. On ImageNet VID dataset, the proposed method can achieve a competitive mAP 79.6% at 20 fps, or 79.0% at 62 fps as a performance/speed tradeoff.

研究动机与目标

• 解决使用昂贵深度神经网络进行实时视频目标检测带来的高计算成本问题。
• 探索时间与尺度维度上的联合优化策略，而非仅聚焦于模型架构压缩。
• 在视频检测中实现灵活、自适应的精度与推理速度权衡。
• 通过有效的传播与优化机制，最小化检测器使用次数，从而降低平均计算成本，同时保持高性能。

提出的方法

• Scale-Time Lattice将检测、时间传播和跨尺度优化建模为尺度与时间二维网格中节点之间的有向连接。
• 基于目标运动和尺度自适应选择关键帧以触发昂贵检测器，从而降低整体计算量。
• 引入两阶段回归模块，分别回归运动位移与空间偏移，提升学习稳定性和性能。
• 通过基于运动历史的网络实现时间传播，利用光流和特征变形高效地在帧间传递检测结果。
• 通过轻量级网络在不同尺度层级（从粗到细）上执行空间优化，以极低开销精炼边界框。
• 通过在不同阶段调整网络深度，支持灵活的计算资源分配，实现性能与速度的可调制权衡。

实验结果

研究问题

• RQ1 如何在时间和尺度维度上有效重分配计算资源，以降低视频目标检测的计算成本？
• RQ2 如何将检测、时间传播与尺度优化整合进一个统一框架中，实现最优协同？
• RQ3 自适应关键帧选择是否能在减少检测器使用的同时提升性能？
• RQ4 传播与优化模块的联合训练对最终检测精度有何影响？
• RQ5 在时间传播与空间优化组件中增加计算成本，其相对影响分别如何？

主要发现

• 所提方法在ImageNet VID数据集上以20 fps的速度实现79.6%的mAP，显著快于以往最先进方法。
• 在62 fps下，该方法仍保持79.0%的mAP，展现出优异的速度-精度权衡能力。
• 与均匀采样相比，自适应关键帧选择在较大采样间隔下性能更优，尤其能优先检测更具挑战性的样本。
• 联合训练传播与优化模块相比独立训练带来0.2%的mAP提升，表明端到端优化具有显著优势。
• 增加空间优化网络深度带来1.2%的mAP提升（72.5→73.7），优于时间传播网络在同等计算成本增加下的0.8%提升。
• 两阶段回归模块（分别回归运动与偏移）在目标帧上实现71.6%的mAP，优于单步或联合回归的变体。