[论文解读] Siamese Box Adaptive Network for Visual Tracking

Zedu Chen, Bineng Zhong+3 more|arXiv (Cornell University)|Mar 15, 2020

Video Surveillance and Tracking Methods参考文献 51被引用 17

一句话总结

该论文提出SiamBAN，一种基于孪生网络的视觉跟踪框架，通过在统一的全卷积网络（FCN）中直接回归边界框并分类物体，消除了对多尺度搜索或预定义锚框的需求。该方法在多个基准测试中实现了最先进性能，同时以40 FPS的推理速度运行，通过基于椭圆的标签分配策略进行端到端训练，在尺度和长宽比估计方面表现出卓越的准确性。

ABSTRACT

Most of the existing trackers usually rely on either a multi-scale searching scheme or pre-defined anchor boxes to accurately estimate the scale and aspect ratio of a target. Unfortunately, they typically call for tedious and heuristic configurations. To address this issue, we propose a simple yet effective visual tracking framework (named Siamese Box Adaptive Network, SiamBAN) by exploiting the expressive power of the fully convolutional network (FCN). SiamBAN views the visual tracking problem as a parallel classification and regression problem, and thus directly classifies objects and regresses their bounding boxes in a unified FCN. The no-prior box design avoids hyper-parameters associated with the candidate boxes, making SiamBAN more flexible and general. Extensive experiments on visual tracking benchmarks including VOT2018, VOT2019, OTB100, NFS, UAV123, and LaSOT demonstrate that SiamBAN achieves state-of-the-art performance and runs at 40 FPS, confirming its effectiveness and efficiency. The code will be available at https://github.com/hqucv/siamban.

研究动机与目标

• 解决现有跟踪器依赖启发式多尺度搜索或锚框进行尺度和长宽比估计的局限性。
• 开发一种更灵活、通用的视觉跟踪框架，避免与候选框相关的超参数调优。
• 通过利用全卷积网络的表达能力，提升在尺度变化、遮挡和外观变化等复杂场景下的跟踪准确性。
• 实现端到端训练，采用统一的分类-回归头，直接预测物体存在性与边界框偏移量。

提出的方法

• 该框架使用孪生网络主干网络提取模板图像和搜索图像的特征，随后通过相关层生成特征图。
• 在相关图的每个空间位置上应用一个框自适应头，以预测表示从中心到边界框边界的4D向量偏移量。
• 跟踪器采用统一的全卷积网络进行端到端训练，联合优化分类（前景/背景得分）与回归（边界框偏移量）。
• 提出一种基于椭圆的标签分配策略，以更好地处理不同尺寸和长宽比的目标，提升正负样本的区分能力。
• 通过不同卷积层（如conv3、conv4、conv5）的多级特征聚合，增强特征表示与跟踪鲁棒性。
• 应用缓冲机制在训练中忽略模糊样本，提升泛化能力并减少监督信号中的噪声。

实验结果

研究问题

• RQ1 视觉跟踪框架是否能在不依赖多尺度搜索或锚框的情况下，实现高精度的尺度和长宽比估计？
• RQ2 与基于锚框或多尺度的方法相比，无锚框的全卷积设计在跟踪精度和效率方面表现如何？
• RQ3 标签分配策略的选择（椭圆、圆形、矩形）对跟踪器性能与鲁棒性有何影响？
• RQ4 多级特征聚合在提升多样化视觉跟踪基准测试中的跟踪性能方面有多有效？
• RQ5 基于全卷积网络的孪生网络中，统一的分类-回归头是否能在准确率与推理速度两方面超越现有最先进跟踪器？

主要发现

• SiamBAN在六个主要基准测试（VOT2018、VOT2019、OTB100、NFS、UAV123和LaSOT）上均达到最先进性能。
• 该跟踪器运行速度达40 FPS，证实其高效性与实时处理能力。
• 在OTB100上，SiamBAN在采用多级特征聚合与基于椭圆的标签分配策略时，AUC达到0.696，优于使用圆形和矩形标签的变体。
• 消融实验表明，同时使用conv3、conv4和conv5的特征可获得最佳性能，OTB100上的AUC为0.696。
• 基于椭圆的标签分配方法相比圆形和矩形标签，显著提升了跟踪器的鲁棒性与准确性，表现为更高的AUC值以及在尺度和长宽比估计方面更优的视觉结果。
• 在OTB100上，SiamBAN相比SiamRPN++的AUC提升5.1%，且在所有评估基准上均优于SiamFC与SiamRPN++。