[论文解读] Tracking Objects with Higher Order Interactions using Delayed Column Generation

Shaofei Wang, Steffen Wolf+2 more|arXiv (Cornell University)|Dec 8, 2015

Robotic Path Planning Algorithms参考文献 24被引用 6

一句话总结

本文提出了一种新颖的列与行生成方法，用于具有高阶交互作用的多目标跟踪，通过动态规划求解定价子问题，并利用延迟约束生成技术收紧边界。该方法通过求解具有比以往方法更紧边界的松弛最大权集合打包公式，在自然视频和生物视频基准测试中实现了更高的跟踪精度与效率。

ABSTRACT

We study the problem of multi-target tracking and data association in video. We formulate this in terms of selecting a subset of high-quality tracks subject to the constraint that no pair of selected tracks is associated with a common detection (of an object). This objective is equivalent to the classic NP-hard problem of finding a maximum-weight set packing (MWSP) where tracks correspond to sets and is made further difficult since the number of candidate tracks grows exponentially in the number of detections. We present a relaxation of this combinatorial problem that uses a column generation formulation where the pricing problem is solved via dynamic programming to efficiently explore the space of tracks. We employ row generation to tighten the bound in such a way as to preserve efficient inference in the pricing problem. We show the practical utility of this algorithm for tracking problems in natural and biological video datasets.

研究动机与目标

• 为解决视频中具有高阶交互作用的多目标跟踪的NP难问题，标准方法在组合爆炸和联合动态建模能力有限方面面临挑战。
• 通过在保持计算可处理性的同时，利用子轨迹实现更丰富的轨迹成本建模，改进现有的拉格朗日松弛与最小费用流方法。
• 通过整合列与行生成技术，对最大权集合打包公式的跟踪问题建立更紧的松弛。
• 在逐步添加约束的同时，保持定价子问题的高效推理，通过动态添加约束来逐步收紧对偶边界。
• 在真实世界跟踪基准测试中展示实际有效性，包括行人与生物图像序列。

提出的方法

• 该方法将多目标跟踪建模为最大权集合打包问题，其中轨迹是检测的集合，通过约束强制互斥性。
• 引入跟踪问题的拉格朗日松弛，将目标分解为包含检测与约束违反对偶变量的对偶函数。
• 使用列生成技术，通过在子轨迹上应用动态规划，迭代生成高质量轨迹，高效求解定价子问题。
• 行生成通过添加违反约束（如重叠轨迹）来收紧对偶边界，提升松弛质量，同时不牺牲定价效率。
• 该算法交替求解基于动态规划的定价问题，并通过次梯度优化更新对偶变量。
• 当不再发现违反约束或改进列时，最终解被获得，从而得到紧的边界与高质量的整数解。

实验结果

研究问题

• RQ1 能否将列生成框架扩展为结合行生成，以在多目标跟踪中收紧边界，同时保持高效的定价？
• RQ2 如何在不引发计算成本过高的情况下，有效建模检测之间的高阶交互作用？
• RQ3 与以往松弛方法相比，定价子问题中集成动态规划在解质量与收敛速度方面有多大提升？
• RQ4 在多样化视频数据集上，该方法是否能在跟踪精度与运行时间方面优于现有的最小费用流与拉格朗日松弛方法？
• RQ5 延迟列与行生成的结合是否在最大权集合打包公式中产生比标准拉格朗日松弛更紧的松弛？

主要发现

• 所提方法在行人与生物图像数据集上均实现了最先进水平的跟踪性能，在精度与鲁棒性方面优于现有方法。
• 通过结合延迟列与行生成，该算法产生的对偶边界比以往拉格朗日松弛方法更紧，显著减小了对偶间隙。
• 基于动态规划的定价子问题能高效探索高质量轨迹，即使在候选解呈指数级增长的情况下，仍能实现可扩展推理。
• 通过在添加行约束后仍保持定价问题的结构，该方法维持了计算效率。
• 实验结果表明，该算法收敛迅速，能产生与最优松弛解差距极小的高质量整数解。
• 该方法通过基于子轨迹的评分成功建模了高阶动态，实现了比一阶模型更优的轨迹拟合。