[论文解读] SiamAPN++: Siamese Attentional Aggregation Network for Real-Time UAV Tracking

Ziang Cao, Changhong Fu+3 more|arXiv (Cornell University)|Jun 16, 2021

Video Surveillance and Tracking Methods被引用 8

一句话总结

SiamAPN++ 提出了一种用于无人机的实时孪生追踪器，采用注意力聚合网络（AAN），结合自注意力与交叉注意力机制，以增强特征表示；并通过使用双特征的锚框提案网络，提升对尺度变化的鲁棒性。该方法在无人机基准测试中达到最先进性能，并在嵌入式平台上实现34.9 FPS的实时推理速度。

ABSTRACT

Recently, the Siamese-based method has stood out from multitudinous tracking methods owing to its state-of-the-art (SOTA) performance. Nevertheless, due to various special challenges in UAV tracking, extit{e.g.}, severe occlusion and fast motion, most existing Siamese-based trackers hardly combine superior performance with high efficiency. To this concern, in this paper, a novel attentional Siamese tracker (SiamAPN++) is proposed for real-time UAV tracking. By virtue of the attention mechanism, we conduct a special attentional aggregation network (AAN) consisting of self-AAN and cross-AAN for raising the representation ability of features eventually. The former AAN aggregates and models the self-semantic interdependencies of the single feature map via spatial and channel dimensions. The latter aims to aggregate the cross-interdependencies of two different semantic features including the location information of anchors. In addition, the anchor proposal network based on dual features is proposed to raise its robustness of tracking objects with various scales. Experiments on two well-known authoritative benchmarks are conducted, where SiamAPN++ outperforms its baseline SiamAPN and other SOTA trackers. Besides, real-world tests onboard a typical embedded platform demonstrate that SiamAPN++ achieves promising tracking results with real-time speed.

研究动机与目标

• 为解决在严重遮挡、快速运动和尺度变化下，无人机追踪中高精度与实时效率之间的平衡挑战。
• 通过建模特征图之间自注意力与跨语义依赖关系，提升孪生追踪器的特征表示能力。
• 通过基于双特征的锚框提案网络（APN-DF），增强多尺度目标的锚框鲁棒性。
• 在嵌入式平台上验证追踪器的性能与实时可行性，以支持实际无人机部署。

提出的方法

• 引入自注意力机制（self-AAN），用于建模单个特征图内部的空间与通道依赖关系，以增强局部语义表示。
• 提出交叉注意力机制（cross-AAN），自适应聚合两个不同特征图之间的依赖关系，提升跨特征对齐与上下文理解能力。
• 采用基于双特征的锚框提案网络（APN-DF），利用多层级网络特征生成更鲁棒且尺度不变的锚框。
• 使用带有可学习参数 $w_1$ 的加权分类分支，以平衡基于锚框的分类与特征表示学习。
• 应用特征融合与注意力门控机制，选择性强调相关特征，同时抑制噪声与干扰。
• 采用孪生双流结构，模板分支与搜索分支共享权重，进行特征提取，随后通过注意力增强的特征聚合进行融合。

实验结果

研究问题

• RQ1 注意力机制是否能提升在遮挡与快速运动条件下无人机追踪中孪生追踪器的特征表示能力？
• RQ2 与标准孪生特征融合相比，特征图之间的交叉注意力在多大程度上提升了追踪鲁棒性？
• RQ3 在尺度变化显著及具有挑战性的无人机追踪序列中，锚框提案网络中使用双特征在多大程度上提升了性能？
• RQ4 所提出的AAN与APN-DF组件是否能在提升追踪精度的同时，保持在嵌入式平台上的实时推理速度？
• RQ5 分类头中基于锚框与基于特征的分类之间，最优平衡点为何？

主要发现

• 与基线模型SiamAPN相比，SiamAPN++在相机运动（CM）属性上的AUC得分提升了5.0%。
• 在完全遮挡（FOC）场景中，SiamAPN++的精度提升5.5%，AUC提升16.2%，优于第二名追踪器。
• 该追踪器在嵌入式平台上的平均推理速度达到34.9 FPS，保持实时性能，展现出强大的实际可行性。
• 消融实验表明，APN-DF与AAN组件均显著提升追踪精度，其中APN-DF在尺度变化场景中表现尤为突出。
• 最优分类权重 $w_1 = 1.2$ 最大化AUC与精度，表明锚框与特征分类的融合达到最佳平衡。
• 定性结果表明，SiamAPN++能有效应对低分辨率、严重遮挡与快速运动，保持长期追踪稳定性。