[论文解读] Siamese Anchor Proposal Network for High-Speed Aerial Tracking

Changhong Fu, Ziang Cao+3 more|arXiv (Cornell University)|Dec 19, 2020

Video Surveillance and Tracking Methods参考文献 33被引用 4

一句话总结

该论文提出SiamAPN，一种用于高速空中跟踪的两阶段孪生网络，通过新颖的锚框提议网络（APN）生成自适应、无先验的锚框，减少超参数数量并提升对小尺寸、遮挡及快速移动目标的鲁棒性。该方法在三个无人机基准测试中实现约200 FPS的推理速度，性能达到当前最先进水平，精度和AUC指标优于SiamRPN++和SiamFC++，尤其在快速运动和低分辨率等挑战性场景下表现更优。

ABSTRACT

In the domain of visual tracking, most deep learning-based trackers highlight the accuracy but casting aside efficiency. Therefore, their real-world deployment on mobile platforms like the unmanned aerial vehicle (UAV) is impeded. In this work, a novel two-stage Siamese network-based method is proposed for aerial tracking, extit{i.e.}, stage-1 for high-quality anchor proposal generation, stage-2 for refining the anchor proposal. Different from anchor-based methods with numerous pre-defined fixed-sized anchors, our no-prior method can 1) increase the robustness and generalization to different objects with various sizes, especially to small, occluded, and fast-moving objects, under complex scenarios in light of the adaptive anchor generation, 2) make calculation feasible due to the substantial decrease of anchor numbers. In addition, compared to anchor-free methods, our framework has better performance owing to refinement at stage-2. Comprehensive experiments on three benchmarks have proven the superior performance of our approach, with a speed of around 200 frames/s.

研究动机与目标

• 解决资源受限的无人机平台在基于深度学习的空中跟踪中效率与鲁棒性之间的权衡问题。
• 克服基于锚框方法依赖预定义锚框的局限性，这些锚框对超参数敏感，且难以应对目标尺寸变化。
• 通过引入无先验假设的自适应锚框生成，相比无锚框方法提升泛化能力并减少计算冗余。
• 通过轻量化、高效的网络架构，增强在无人机特定挑战（如快速运动、低分辨率、遮挡）下的跟踪性能。
• 在保持标准空中跟踪基准测试高精度的同时，实现约200 FPS的实时推理速度。

提出的方法

• 提出一种孪生两阶段框架：第一阶段使用锚框提议网络（APN）为每个特征图点生成一个自适应锚框，消除固定锚框先验。
• APN端到端学习预测自适应锚框的位置与尺寸，提升对不同尺寸目标的泛化能力，并将锚框数量减少约90%。
• 引入特征融合网络，将自适应锚框的空间位置信息融合到特征图中，增强语义表征能力与回归精度。
• 采用多分类结构以提升判别能力，并缓解训练过程中负样本的不平衡问题。
• 通过最小化冗余锚框提议并利用轻量化组件优化特征提取，设计网络以实现高速推理。
• 端到端联合训练孪生主干网络，采用分类与回归分支头，损失函数结合交叉熵与IoU损失。

实验结果

研究问题

• RQ1 具有自适应锚框生成的孪生网络是否能在保持实时推理速度的同时实现高精度的空中跟踪？
• RQ2 消除固定锚框先验对无人机跟踪中对小尺寸、遮挡及快速移动目标的鲁棒性有何影响？
• RQ3 与标准基于锚框或无锚框方法相比，锚框位置信息的特征融合在多大程度上提升了跟踪性能？
• RQ4 所提方法是否能在标准无人机基准测试中，于精度、AUC和速度方面超越当前最先进跟踪器？
• RQ5 超参数数量与锚框数量的减少是否带来在复杂空中场景下更好的泛化能力与训练稳定性？

主要发现

• SiamAPN实现约200 FPS的推理速度，适用于移动设备与无人机平台的实时部署。
• 在UAV20L数据集上，SiamAPN实现76.2%的精度与56.3%的AUC，优于第二名的SiamRPN++（精度高2.5%，AUC高0.6%）。
• 在VisDrone2018-SOT-test数据集上，SiamAPN实现81.4%的精度与58.4%的AUC，排名第一，显著优于UDT+（78.6%, 57.8%）与SiamFC++（73.8%, 56.2%）。
• 在UAV123@10fps数据集上，SiamAPN实现75.2%的精度与56.6%的成功率，排名第一，较SiamRPN++精度提升2.3%。
• 在属性分类评估中，SiamAPN在快速运动、完全遮挡与低分辨率场景下，AUC平均分别较SiamFC++提升3.9%、4.0%与3.9%。
• 在快速运动场景下，SiamAPN较SiamRPN++提升5.1% AUC；在完全遮挡场景下提升4.55% AUC，表明其在无人机特定挑战下具有更优的鲁棒性。