[论文解读] Progressive Sparse Local Attention for Video object detection

Chaoxu Guo, Bin Fan+5 more|arXiv (Cornell University)|Mar 21, 2019

Advanced Neural Network Applications参考文献 42被引用 25

一句话总结

本文提出了一种新型模块——渐进式稀疏局部注意力（PSLA），通过逐步稀疏化的局部注意力建立跨帧空间对应关系，从而消除对光流的依赖。将PSLA与递归特征更新及密集特征变换相结合，该方法在ImageNet VID上实现了最先进（SOTA）的准确率，且模型更小、推理速度可接受。

ABSTRACT

Transferring image-based object detectors to the domain of videos remains a challenging problem. Previous efforts mostly exploit optical flow to propagate features across frames, aiming to achieve a good trade-off between accuracy and efficiency. However, introducing an extra model to estimate optical flow can significantly increase the overall model size. The gap between optical flow and high-level features can also hinder it from establishing spatial correspondence accurately. Instead of relying on optical flow, this paper proposes a novel module called Progressive Sparse Local Attention (PSLA), which establishes the spatial correspondence between features across frames in a local region with progressively sparser stride and uses the correspondence to propagate features. Based on PSLA, Recursive Feature Updating (RFU) and Dense Feature Transforming (DenseFT) are proposed to model temporal appearance and enrich feature representation respectively in a novel video object detection framework. Experiments on ImageNet VID show that our method achieves the best accuracy compared to existing methods with smaller model size and acceptable runtime speed.

研究动机与目标

• 通过有效利用时序信息，解决将基于图像的目标检测器迁移至视频的挑战。
• 克服基于光流的特征传播方法的局限性，如模型开销高以及与高层特征不匹配的问题。
• 开发一种轻量级、端到端可训练的模块，无需外部光流估计即可建立精确的跨帧空间对应关系。
• 通过递归特征更新与密集特征变换，提升视频中的特征表示与检测准确率。

提出的方法

• 提出渐进式稀疏局部注意力（PSLA），通过逐步增加感受野并采用更稀疏的步长，实现视频帧间特征对齐。
• 在稀疏区域内部使用局部注意力，高效计算跨帧特征对应关系，避免完整的注意力计算。
• 将PSLA集成到一种新型视频目标检测框架中，该框架包含用于时序特征优化的递归特征更新（RFU）。
• 应用密集特征变换（DenseFT）通过聚合多时间与空间尺度的特征，丰富特征表示。
• 端到端训练整个网络，无需预训练的光流模型。
• 设计架构时注重计算效率，在准确率与推理速度之间取得良好平衡。

实验结果

研究问题

• RQ1 我们能否在不依赖光流的情况下，实现在视频目标检测中的精确跨帧特征对齐？
• RQ2 与密集或基于光流的方法相比，渐进式稀疏局部注意力如何提升特征传播效果？
• RQ3 递归特征更新与密集特征变换对检测准确率与特征表示有何影响？
• RQ4 无光流、轻量级的模块能否在模型更小的情况下实现视频目标检测的最先进性能？
• RQ5 与现有基于光流和非光流的视频检测方法相比，该方法在准确率与效率上的表现如何？

主要发现

• 所提方法在ImageNet VID基准上实现了最先进（SOTA）的准确率，优于现有方法。
• 与先前的SOTA方法相比，该模型以更少的参数量实现了这一准确率。
• 推理速度保持可接受水平，表明在准确率与效率之间具有良好的权衡。
• 消融实验确认，PSLA以及所提出的特征优化模块均对性能提升有显著贡献。
• 通过直接从特征中学习空间对应关系，该方法减少了光流与高层特征之间的域差距。