[论文解读] TF-Blender: Temporal Feature Blender for Video Object Detection

Yiming Cui, Liqi Yan+2 more|arXiv (Cornell University)|Aug 12, 2021

Advanced Image and Video Retrieval Techniques被引用 4

一句话总结

TF-Blender 是一种通用的、即插即用的视频目标检测框架，通过建模视频片段中所有帧对之间的细粒度时序关系来增强特征表示。它使用时序关系模块计算自适应权重，特征调节模块保留空间细节，特征融合模块融合增强后的特征，在 ImageNet VID 上实现 +0.7% mAP，在 YouTube-VIS 上实现 +1.5% mAP，优于当前最优方法。

ABSTRACT

Video objection detection is a challenging task because isolated video frames may encounter appearance deterioration, which introduces great confusion for detection. One of the popular solutions is to exploit the temporal information and enhance per-frame representation through aggregating features from neighboring frames. Despite achieving improvements in detection, existing methods focus on the selection of higher-level video frames for aggregation rather than modeling lower-level temporal relations to increase the feature representation. To address this limitation, we propose a novel solution named TF-Blender,which includes three modules: 1) Temporal relation mod-els the relations between the current frame and its neighboring frames to preserve spatial information. 2). Feature adjustment enriches the representation of every neigh-boring feature map; 3) Feature blender combines outputs from the first two modules and produces stronger features for the later detection tasks. For its simplicity, TF-Blender can be effortlessly plugged into any detection network to improve detection behavior. Extensive evaluations on ImageNet VID and YouTube-VIS benchmarks indicate the performance guarantees of using TF-Blender on recent state-of-the-art methods.

研究动机与目标

• 解决由运动模糊、遮挡和外观变化引起的视频目标检测中特征退化问题。
• 通过建模帧间局部空间一致性和全局语义对应关系来提升特征表示能力。
• 设计一种通用模块，以最小的架构改动增强任意检测网络。
• 克服先前方法仅关注当前帧与邻近帧之间全局关系或使用固定帧聚合的局限性。
• 实现端到端、鲁棒的特征聚合，同时保留空间结构并增强时序一致性。

提出的方法

• 时序关系模块使用可学习函数 g(fi,fj) 计算视频片段中每对帧之间的自适应权重，捕捉局部与全局关系。
• 特征调节模块通过聚合其他邻近帧的特征来增强邻近帧的特征，并引入空间约束以保留细粒度细节。
• 特征融合模块使用学习到的注意力权重，结合时序关系模块和特征调节模块的输出，生成更强大、更鲁棒的特征。
• 该框架被实现为轻量级模块，可无缝插入任意检测主干网络（如 ResNeXt 或 Swin Transformer）中，无需重新训练主干网络。
• 该方法使用多头交叉注意力机制计算不同帧特征之间的相似度得分，实现动态、上下文感知的特征聚合。
• 整个模块可微分，并与检测头端到端联合训练，确保特征学习与检测任务的联合优化。

实验结果

研究问题

• RQ1 在视频片段中建模所有帧之间的成对时序关系是否能提升目标检测的特征表示？
• RQ2 在特征聚合过程中保留局部空间结构是否能在外观变化和运动模糊下带来更好的检测性能？
• RQ3 能否设计一种通用模块，以最小的架构改动增强任意现有视频目标检测器？
• RQ4 与 FGFA 和 SELSA 等现有特征聚合方法相比，所提方法在准确率和效率方面表现如何？
• RQ5 目标大小和运动速度对所提方法性能增益的影响是什么？

主要发现

• 当与当前最优检测器集成时，TF-Blender 在 ImageNet VID 基准上实现了绝对 mAP 提升 0.7%。
• 在 YouTube-VIS 基准上，该方法相比 SOTA 方法 mAP 提升 1.5%，展现出强大的跨数据集泛化能力。
• 该方法在大目标上表现最佳，得益于更高分辨率的特征图使细粒度权重学习获益更多，mAP 显著提升。
• 在缓慢移动目标上（占测试集的 37.9%）观察到最大性能提升，表明其对运动模糊和外观变化具有更强的处理能力。
• 该方法保持了良好的速度-精度权衡，由于 TF-Blender 模块的轻量化设计，推理开销仅略有增加。
• 消融实验表明，增加小网络的层数会导致过拟合，采用 3 层结构且使用 3×3 卷积核时性能最优。