[论文解读] Ocean: Object-aware Anchor-free Tracking

Zhipeng Zhang, Houwen Peng+3 more|arXiv (Cornell University)|Jun 18, 2020

Video Surveillance and Tracking Methods参考文献 46被引用 15

一句话总结

本文提出 Ocean，一种面向目标的无锚点孪生追踪器，直接回归目标物体位置而非优化预定义的锚框，从而在低 IoU 条件下实现更高的定位精度和鲁棒性。通过引入特征对齐模块以学习与目标相关的特征，并使用不规则空洞卷积进行多尺度建模，Ocean 在五个基准测试中达到最先进性能，包括在 58 FPS 下于 VOT-2018 上实现 0.467 的 EAO。

ABSTRACT

Anchor-based Siamese trackers have achieved remarkable advancements in accuracy, yet the further improvement is restricted by the lagged tracking robustness. We find the underlying reason is that the regression network in anchor-based methods is only trained on the positive anchor boxes (i.e., $IoU \geq0.6$). This mechanism makes it difficult to refine the anchors whose overlap with the target objects are small. In this paper, we propose a novel object-aware anchor-free network to address this issue. First, instead of refining the reference anchor boxes, we directly predict the position and scale of target objects in an anchor-free fashion. Since each pixel in groundtruth boxes is well trained, the tracker is capable of rectifying inexact predictions of target objects during inference. Second, we introduce a feature alignment module to learn an object-aware feature from predicted bounding boxes. The object-aware feature can further contribute to the classification of target objects and background. Moreover, we present a novel tracking framework based on the anchor-free model. The experiments show that our anchor-free tracker achieves state-of-the-art performance on five benchmarks, including VOT-2018, VOT-2019, OTB-100, GOT-10k and LaSOT. The source code is available at https://github.com/researchmm/TracKit.

研究动机与目标

• 解决基于锚框的孪生追踪器在优化低 IoU 预测时的局限性，该局限性会导致追踪漂移。
• 克服仅在高 IoU 锚框（IoU ≥ 0.6）上训练的回归网络泛化能力差的问题。
• 通过支持对不精确预测的修正，提升在遮挡、形变和光照变化下的追踪鲁棒性。
• 通过空间对齐模块实现与目标相关的特征学习，增强特征判别能力。
• 设计一种可扩展的框架，支持在线模型更新，以适应推理过程中的外观变化。

提出的方法

• 用直接边界框回归替代基于锚框的回归：预测每个真实框内像素到目标物体四条边的距离。
• 引入特征对齐模块，利用二维空间变换从预测边界框内采样特征，生成用于分类的与目标相关的特征。
• 在特征融合模块中使用不规则空洞卷积，以较低计算成本建模多尺度目标表征。
• 采用双流孪生网络，共享主干网络，从模板区域和搜索区域提取特征。
• 设计一个分类头，利用与目标相关的特征提升前景-背景判别能力。
• 集成一个即插即用的在线更新模块，使模型在推理过程中适应外观变化。

实验结果

研究问题

• RQ1 能否设计一种追踪框架，以修正基于锚框的方法无法优化的低 IoU 预测？
• RQ2 与目标相关的特征在多大程度上能提升孪生追踪中分类的可靠性与定位精度？
• RQ3 在特征提取中使用不规则空洞卷积在多尺度表征学习方面能带来多大提升？
• RQ4 所提出的无锚点框架能否在包括 VOT、OTB、GOT-10k 和 LaSOT 在内的多样化基准上实现最先进性能？
• RQ5 集成在线更新模块在提升对外观变化的鲁棒性方面有多有效？

主要发现

• Ocean 在 VOT-2018 上实现了新的最先进 EAO 0.467，相对 SiamRPN++ 提升 12.8%，相对 SiamRPN 提升 92.2%。
• 特征对齐模块使 EAO 提升 2.9 个百分点，证明其在增强特征判别能力方面的有效性。
• 与基线相比，不规则空洞卷积模块使 EAO 提升 4.2 个百分点，显示出强大的多尺度建模能力。
• 在训练中加入 GOT-10k 使性能提升 1.2 个百分点（从 0.455 提升至 0.467），证实性能提升源于模型架构，而非仅依赖数据。
• 在线更新模块进一步使性能提升 2.2 个百分点，验证了该框架的可扩展性与适应性。
• 特征可视化结果表明，与目标相关的特征聚焦于整个物体，而常规特征则更关注中心区域，从而改善了全局上下文理解。