[论文解读] Tracking Everything Everywhere All at Once

Qianqian Wang, Yen-Yu Chang+5 more|arXiv (Cornell University)|Jun 8, 2023

Advanced Vision and Imaging被引用 5

一句话总结

本文提出 OmniMotion，一种测试时优化方法，通过准3D 原型体积和可逆局部-原型双射，为视频中每个像素估计全局一致、完整长度的运动轨迹。通过联合优化整个视频中的运动，该方法在 TAP-Vid 基准测试中实现了长距离追踪、遮挡鲁棒性和时间一致性的最先进性能。

ABSTRACT

We present a new test-time optimization method for estimating dense and long-range motion from a video sequence. Prior optical flow or particle video tracking algorithms typically operate within limited temporal windows, struggling to track through occlusions and maintain global consistency of estimated motion trajectories. We propose a complete and globally consistent motion representation, dubbed OmniMotion, that allows for accurate, full-length motion estimation of every pixel in a video. OmniMotion represents a video using a quasi-3D canonical volume and performs pixel-wise tracking via bijections between local and canonical space. This representation allows us to ensure global consistency, track through occlusions, and model any combination of camera and object motion. Extensive evaluations on the TAP-Vid benchmark and real-world footage show that our approach outperforms prior state-of-the-art methods by a large margin both quantitatively and qualitatively. See our project page for more results: http://omnimotion.github.io/

研究动机与目标

• 解决现有光流和稀疏追踪方法在处理长距离运动和遮挡时的局限性。
• 实现整个视频序列中密集、全局一致的运动估计，而不仅限于成对帧之间。
• 在保持空间和时间一致性的同时，建模相机和物体运动的复杂组合。
• 提供统一的表示形式，支持在视频任意时刻点查询完整轨迹。
• 通过具有循环一致性的原型体积和双射，提升对遮挡和大范围相机运动的鲁棒性。

提出的方法

• 该方法使用准3D 原型体积表示视频，以编码所有帧之间的全局运动结构。
• 定义局部帧与原型体积之间的可逆双射，确保循环一致性，并支持双向映射。
• 通过测试时优化端到端优化运动，联合优化所有轨迹，利用光度一致性和光流一致性损失。
• 采用难样本挖掘采样策略，优先处理具有挑战性的运动区域，提升对快速或复杂运动的准确性。
• 使用光度一致性与光流监督作为优化信号，在原型空间中精炼运动估计。
• 该方法支持在视频任意连续时空坐标点查询运动轨迹。

Figure 2: Method overview . (a) Our OmniMotion representation is comprised of a canonical 3D volume $G$ and a set of bijections $\mathcal{T}_{\bm{i}}$ that map between each frame’s local volume $L_{i}$ and the canonical volume $G$ . Any local 3D location $\bm{x}_{i}$ in frame $i$ can be mapped to it

实验结果

研究问题

• RQ1 能否学习一种统一的、全局一致的运动表示，以建模视频中所有像素的完整轨迹？
• RQ2 如何在保持长距离一致性的同时，使运动估计对遮挡具有鲁棒性？
• RQ3 具有可逆双射的原型体积是否能在长距离追踪中超越局部、逐帧优化方法？
• RQ4 在复杂真实视频中，使用原型体积的测试时优化能在多大程度上提升准确性？
• RQ5 该方法如何处理相机与物体运动的任意组合，包括视差和非刚性运动？

主要发现

• OmniMotion 在 TAP-Vid 基准测试中取得新 SOTA 成绩，AJ 得分为 51.7，显著优于先前方法。
• 该方法将轨迹误差（TC）降低至 0.74，证明其具有优越的长距离一致性并减少了漂移。
• 消融实验表明，若移除可逆双射，AJ 降至 12.5，凸显其在维持全局结构中的关键作用。
• 若省略光度损失，AJ 降至 42.3，证实其在精炼运动估计中的重要性。
• 定性对比显示，该方法在遮挡期间能成功推断出合理的运动路径，如狗和秋千序列所示。
• 从原型体积导出的伪深度图展示了学习到的深度排序，使遮挡期间的表面排序正确。

Figure 3: Qualitative comparison of our method and baselines on DAVIS [ 50 ] . The leftmost image shows query points in the first frame, and the right three images show tracking results over time. Notably, our method tracks successfully through the occlusion events in swing and india , while baselin