[论文解读] SiamCorners: Siamese Corner Networks for Visual Tracking

Kai Yang, Zhenyu He+5 more|arXiv (Cornell University)|Apr 15, 2021

Video Surveillance and Tracking Methods参考文献 61被引用 7

一句话总结

SiamCorners 提出了一种无需锚框的视觉追踪框架，通过改进的角落池化层，直接使用孪生网络预测目标的左上角和右下角。通过消除锚框并引入逐层特征聚合与惩罚函数，该方法在保持高速度（42 FPS）的同时，实现了最先进水平的精度（UAV123 上 AUC 达 61.4%）。

ABSTRACT

The current Siamese network based on region proposal network (RPN) has attracted great attention in visual tracking due to its excellent accuracy and high efficiency. However, the design of the RPN involves the selection of the number, scale, and aspect ratios of anchor boxes, which will affect the applicability and convenience of the model. Furthermore, these anchor boxes require complicated calculations, such as calculating their intersection-over-union (IoU) with ground truth bounding boxes.Due to the problems related to anchor boxes, we propose a simple yet effective anchor-free tracker (named Siamese corner networks, SiamCorners), which is end-to-end trained offline on large-scale image pairs. Specifically, we introduce a modified corner pooling layer to convert the bounding box estimate of the target into a pair of corner predictions (the bottom-right and the top-left corners). By tracking a target as a pair of corners, we avoid the need to design the anchor boxes. This will make the entire tracking algorithm more flexible and simple than anchorbased trackers. In our network design, we further introduce a layer-wise feature aggregation strategy that enables the corner pooling module to predict multiple corners for a tracking target in deep networks. We then introduce a new penalty term that is used to select an optimal tracking box in these candidate corners. Finally, SiamCorners achieves experimental results that are comparable to the state-of-art tracker while maintaining a high running speed. In particular, SiamCorners achieves a 53.7% AUC on NFS30 and a 61.4% AUC on UAV123, while still running at 42 frames per second (FPS).

研究动机与目标

• 为解决基于锚框的孪生追踪器存在的超参数敏感性和锚框设计导致的训练不平衡等局限性。
• 消除对固定尺度和宽高比的预设锚框的需求，提升模型灵活性与泛化能力。
• 开发一种简单、端到端可训练的追踪框架，直接回归目标角落而非边界框。
• 通过逐层特征聚合与新颖的惩罚函数提升性能，实现最优框选择。
• 在无需多尺度测试或复杂锚框设计的前提下，实现高精度与高推理速度。

提出的方法

• 从初始目标边界框中裁剪出四个边界图像（上、左、下、右）作为孪生网络的模板输入。
• 使用改进的角落池化（MCP）层，从独立的特征图中预测角落的热力图与偏移量。
• 引入逐层特征聚合策略，结合多个特征层级（如 conv4 和 conv5）的预测结果，提升鲁棒性。
• 采用偏移量预测头以优化角落坐标，减轻网络步长带来的误差。
• 应用惩罚函数（PPF），通过约束帧间中心点、宽度与高度的变化，从候选角落中选择最优边界框。
• 在大规模图像对上离线端到端训练整个网络，避免在线适应或基于锚框的分类。

Figure 1: Visualization results of feature maps (keep only the highest score for clarity) of the four boundaries (green box) predicted by Siamese network. The feature maps of the four boundaries are fed to a modified corner pooling layer to predict the corner heatmaps and offsets of the green box. S

实验结果

研究问题

• RQ1 基于孪生网络的追踪器是否能在不依赖锚框或区域提议网络的前提下实现高精度？
• RQ2 与基于锚框的检测相比，基于角落的回归在追踪精度与推理速度方面表现如何？
• RQ3 逐层特征聚合与偏移量优化对角落预测性能有何影响？
• RQ4 所提出的惩罚函数在从多个候选角落中选择最优追踪框方面效果如何？
• RQ5 无锚框设计是否能在保持高速度的同时，实现与最先进基于锚框的追踪器相当或更优的性能？

主要发现

• SiamCorners 在 UAV123 基准上达到 61.4% 的 AUC，比单层基线模型高出 2.7%，并与最先进基于锚框的追踪器持平。
• 模型在保持 42 FPS 的高速度下实现高推理效率，表明即使在端到端训练与多层级特征融合下，仍具备强大效率。
• 四模板（FRT）设计通过独立处理每个边界，使 UAV123 上性能提升 6.3%，LaSOT 上提升 6.9%，优于统一模板设计。
• 改进的角落池化（MCP）层相比原始角落池化，在 UAV123 上提升 2.1%，在 LaSOT 上提升 2.5%。
• 偏移量预测头贡献显著，使 UAV123 上性能提升 1.5%，LaSOT 上提升 3.9%，凸显其在减少步长引入误差方面的作用。
• 惩罚函数（PPF）在 UAV123 上提升追踪精度 1.4%，在 LaSOT 上提升 1.7%，证实其在从候选角落中选择最优边界框方面的有效性。

Figure 2: The overview of our SiamCorners architecture, which includes the Siamese feature extractor followed by the top-left corner and bottom-right corner branches in parallel. $\bigstar$ denotes depth-wise correlation operation. $z_{\theta}(\theta\in\{t,l,b,r\})$ denote the four boundary images c