[论文解读] TAPIR: Tracking Any Point with per-frame Initialization and temporal Refinement

Carl Doersch, Yi Yang+6 more|arXiv (Cornell University)|Jun 14, 2023

Video Surveillance and Tracking Methods被引用 5

一句话总结

TAPIR 提出了一种用于视频中任意点（TAP）跟踪的两阶段方法，通过逐帧特征匹配结合全卷积网络进行时序优化，以提升准确性和鲁棒性。该方法在 DAVIS 数据集上将平均交并比（AJ）分数提升了 20% 的绝对值，并实现了高分辨率视频的实时推理，可应用于基于扩散模型的静态图像视频生成。

ABSTRACT

We present a novel model for Tracking Any Point (TAP) that effectively tracks any queried point on any physical surface throughout a video sequence. Our approach employs two stages: (1) a matching stage, which independently locates a suitable candidate point match for the query point on every other frame, and (2) a refinement stage, which updates both the trajectory and query features based on local correlations. The resulting model surpasses all baseline methods by a significant margin on the TAP-Vid benchmark, as demonstrated by an approximate 20% absolute average Jaccard (AJ) improvement on DAVIS. Our model facilitates fast inference on long and high-resolution video sequences. On a modern GPU, our implementation has the capacity to track points faster than real-time, and can be flexibly extended to higher-resolution videos. Given the high-quality trajectories extracted from a large dataset, we demonstrate a proof-of-concept diffusion model which generates trajectories from static images, enabling plausible animations. Visualizations, source code, and pretrained models can be found on our project webpage.

研究动机与目标

• 开发一种鲁棒且可扩展的方法，用于在长视频序列中跟踪任意点，即使在遮挡和外观变化下也能保持稳定。
• 通过结合 TAP-Net（对遮挡具有鲁棒性）和 PIPs（局部精细化）的优势，解决先前方法如 TAP-Net（缺乏时序一致性）和 PIPs（顺序处理、推理速度慢）的局限性。
• 实现在长视频和高分辨率视频上的高精度、实时推理，适用于实际部署。
• 通过展示高质量轨迹的实用性，实现一个基于扩散模型的静态图像动画生成的可行性验证。

提出的方法

• 该模型采用粗到精的策略：首先，在逐帧匹配阶段，利用低分辨率特征独立地为每一帧识别候选点匹配。
• 随后，在优化阶段，应用全卷积的时空网络，通过平衡运动一致性与局部外观线索来平滑轨迹。
• 该架构在空间和时间维度上均为全卷积结构，支持在 GPU 和 TPU 上高效并行化。
• 模型以自监督方式估计其预测的不确定性，从而允许对低置信度预测进行抑制。
• 该方法结合了 TAP-Net（对遮挡具有鲁棒性的匹配）与 PIPs（局部精细化）的优点，但避免了 PIPs 的顺序处理瓶颈。
• 基于 TAPIR 输出构建了基于扩散的视频生成流水线：轨迹模型从单张图像预测运动，像素模型则基于预测轨迹生成帧。

实验结果

研究问题

• RQ1 结合逐帧匹配与时序优化的两阶段跟踪框架，是否能在长视频序列中实现更优的准确性和鲁棒性？
• RQ2 如何在保持高性能的同时，实现在长视频上实时、高分辨率的推理？
• RQ3 TAPIR 生成的高质量、稳定轨迹，是否能够实现从单张静态图像生成合理视频？
• RQ4 自监督的不确定性估计是否能提升基准数据集上的跟踪性能？

主要发现

• 在 DAVIS 基准测试中，TAPIR 相较于 TAP-Net 实现了 20% 的绝对 AJ 分数提升。
• 在更具挑战性的 TAP-Vid-Kinetics 基准测试中，TAPIR 的 AJ 分数相比 PIPs 提升约 20%，同时显著降低了推理时间。
• 该模型可在现代 GPU 上实现实时推理，即使在高分辨率下也能实现超过实时的处理速度。
• TAPIR 提取的高质量轨迹成功支持了一个概念验证级扩散模型，实现了从单张图像生成物理上合理的动画。
• 该模型在遮挡和重新出现情况下表现出强鲁棒性，能够在长序列中保持稳定的轨迹跟踪。