[论文解读] Tracking with multi-level features

Roberto Henschel, Laura Leal-Taixé+2 more|arXiv (Cornell University)|Jul 25, 2016

Video Surveillance and Tracking Methods参考文献 36被引用 17

一句话总结

本文提出了一种全局二次规划公式，联合优化多级特征（检测框和密集点轨迹）的时间关联与空间分组，以生成个体轨迹。通过将NP难的QP问题分解为高效线性规划（用于时间关联）与谱聚类（用于空间分组），并利用QP目标函数自动确定最优聚类数，该方法在跟踪精度上达到最先进水平，且显著减少了身份切换次数，相较于基于检测与低级特征的方法表现更优。

ABSTRACT

We present a novel formulation of the multiple object tracking problem which integrates low and mid-level features. In particular, we formulate the tracking problem as a quadratic program coupling detections and dense point trajectories. Due to the computational complexity of the initial QP, we propose an approximation by two auxiliary problems, a temporal and spatial association, where the temporal subproblem can be efficiently solved by a linear program and the spatial association by a clustering algorithm. The objective function of the QP is used in order to find the optimal number of clusters, where each cluster ideally represents one person. Evaluation is provided for multiple scenarios, showing the superiority of our method with respect to classic tracking-by-detection methods and also other methods that greedily integrate low-level features.

研究动机与目标

• 解决基于检测的跟踪方法的局限性，后者仅依赖边界框检测，而忽略了丰富的低级与中级图像信息。
• 提出一种严谨的全局公式，将低级密集点轨迹与中级检测框整合到统一的优化框架中。
• 克服直接求解完整二次规划的计算不可行性，通过将其分解为高效子问题。
• 利用QP目标函数稳健地确定聚类数量（即人数），避免手动或启发式选择。
• 在遮挡与高密度行人场景等挑战性条件下，提升跟踪精度并减少身份切换。

提出的方法

• 将多目标跟踪建模为带线性约束的单一二次规划（QP），通过耦合特征的时间关联（形成轨迹）与空间分组（形成个体）实现联合优化。
• 将QP分解为两个子问题：通过线性规划松弛求解时间关联步骤，实现最优且高效的轨迹连接。
• 采用谱聚类进行空间关联，其中聚类数量由QP目标函数确定，以确保鲁棒性。
• 将检测框（中级）与密集点轨迹（低级）作为输入特征，以利用结构与运动信息。
• 采用两阶段近似：首先求解时间线性规划以生成轨迹段，然后利用由QP代价导出的亲和矩阵进行谱聚类，将轨迹段分组为身份。
• 将完整QP目标函数用作选择最优聚类数的准则，从而消除对启发式或外部估计的依赖。

实验结果

研究问题

• RQ1 统一的全局优化框架能否有效整合低级运动线索（密集点轨迹）与中级检测线索（边界框）以实现多人跟踪？
• RQ2 将NP难的QP问题分解为时间关联的线性规划与空间分组的谱聚类，是否能获得计算可行且准确的解决方案？
• RQ3 QP的目标函数能否被用于自动且稳健地确定人数（聚类数），从而超越启发式聚类数选择？
• RQ4 在人群密集与遮挡严重的场景中，该方法在精度、身份切换次数与轨迹稳定性方面，相较于最先进基于检测与低级特征的方法表现如何？
• RQ5 多级特征的融合在MOTChallenge与ETH-Jelmoli等挑战性基准中，能在多大程度上提升跟踪性能？

主要发现

• 在PETS09基准上，该方法实现了37.9%的跟踪精度（TA），优于LP2D（19.8%）及其他基于检测的方法，身份切换数为414次，远低于LP2D的1649次。
• 在AVG-TownCentre序列上，该方法实现了64.2%的TA与89.3%的精确率，精度与身份切换减少方面优于LP2D（61.6% TA，89.3%精确率）与Benfold等人（58.6% TA）。
• 在MOTChallenge测试集上，该方法实现了27.5%的TA与70.6%的TP，相比LP2D（19.8% TA，71.2% TP）在精度上提升近8个百分点，且身份切换数减少超过一半。
• 该方法在PETS09上将身份切换减少至414次，在AVG-TownCentre上为231次，显著低于竞争方法（如LP2D的1649与245次），展现出更优的轨迹稳定性。
• 利用QP目标函数确定聚类数，实现了稳健且准确的聚类选择，无需外部启发式方法或人工调参。
• 该方法在MOTChallenge上无需轨迹后处理即达到最先进性能，凸显了多级特征融合的有效性。