[论文解读] Transformer Tracking with Cyclic Shifting Window Attention

Zikai Song, Junqing Yu+2 more|arXiv (Cornell University)|May 8, 2022

Video Surveillance and Tracking Methods被引用 11

一句话总结

该论文提出CSWinTT，一种基于Transformer的视觉目标跟踪器，通过用多尺度循环移位窗口注意力机制替代像素级注意力机制，以保持目标完整性并提高定位精度。通过将特征图划分为非重叠窗口，并应用循环移位生成多样化的上下文感知注意力样本，该方法在五个主要基准测试（包括VOT2020、UAV123、LaSOT、TrackingNet和GOT-10k）上实现了最先进性能，同时通过优化策略保持了高效的计算效率。

ABSTRACT

Transformer architecture has been showing its great strength in visual object tracking, for its effective attention mechanism. Existing transformer-based approaches adopt the pixel-to-pixel attention strategy on flattened image features and unavoidably ignore the integrity of objects. In this paper, we propose a new transformer architecture with multi-scale cyclic shifting window attention for visual object tracking, elevating the attention from pixel to window level. The cross-window multi-scale attention has the advantage of aggregating attention at different scales and generates the best fine-scale match for the target object. Furthermore, the cyclic shifting strategy brings greater accuracy by expanding the window samples with positional information, and at the same time saves huge amounts of computational power by removing redundant calculations. Extensive experiments demonstrate the superior performance of our method, which also sets the new state-of-the-art records on five challenging datasets, along with the VOT2020, UAV123, LaSOT, TrackingNet, and GOT-10k benchmarks.

研究动机与目标

• 为解决现有基于Transformer的视觉跟踪器在使用像素级注意力时导致的空间与结构完整性损失问题。
• 通过窗口级注意力机制保留目标级结构，提升跟踪精度。
• 通过应用多尺度循环移位扩展感受野并增强上下文多样性，提升特征表示与区分能力。
• 在保持高跟踪速度的同时，减少循环移位引入的计算冗余。
• 设计一种空间正则化的注意力掩码，以缓解循环移位引起的边界伪影。

提出的方法

• 该方法将特征图划分为非重叠窗口，将每个窗口视为单一单元，在注意力计算过程中保持其内部空间一致性和目标完整性。
• 对每个窗口应用多尺度循环移位，生成多个移位版本，增加上下文多样性并提升注意力精度。
• 引入一种空间正则化的注意力掩码，以抑制因循环移位在窗口边界处导致的性能下降。
• 提出三种计算优化策略：从Query中移除循环移位（RMQ）、将移位周期减半（Peri），以及使用PyTorch矩阵重排技巧（Prog）以加速矩阵运算。
• 在多个尺度上计算模板区域与搜索区域窗口之间的跨窗口多头注意力，实现细粒度匹配并增强对遮挡的鲁棒性。
• 分层Transformer架构在多尺度上处理特征，每个阶段均应用窗口划分与移位操作，逐步扩展感受野。

实验结果

研究问题

• RQ1 用窗口级注意力替代像素级注意力是否能通过保持结构完整性来提升目标跟踪精度？
• RQ2 窗口的循环移位如何增强视觉跟踪中的注意力表征与区分能力？
• RQ3 空间正则化的注意力掩码是否能有效减少由循环移位引起的边界伪影？
• RQ4 为使循环移位窗口注意力在实时跟踪中实用化，需要哪些计算优化？
• RQ5 与单尺度或像素级注意力相比，多尺度窗口注意力是否能提升对遮挡和干扰物的鲁棒性？

主要发现

• 所提出的CSWinTT跟踪器在五个主要视觉跟踪基准测试（VOT2020、UAV123、LaSOT、TrackingNet和GOT-10k）上实现了新的最先进性能。
• 通过计算优化，跟踪器实现了12.4 FPS的跟踪速度，显著优于未优化基线的1 FPS。
• 空间正则化的注意力掩码有效减少了因循环移位在窗口边界处引起的性能下降。
• 可视化结果表明，循环移位窗口注意力生成了更具区分性的注意力图，尤其在遮挡或存在相似干扰物时表现更优。
• 消融实验证实，循环移位与多尺度注意力是性能提升的关键因素，其中RMQ与Peri优化显著提升了运行速度。
• 由于窗口级注意力有效保持了目标各部分的完整性，该方法在遮挡与背景杂波条件下表现出更优的鲁棒性。