[论文解读] Multi-Target, Multi-Camera Tracking by Hierarchical Clustering: Recent Progress on DukeMTMC Project

Zhimeng Zhang, Jianan Wu+2 more|arXiv (Cornell University)|Dec 27, 2017

Video Surveillance and Tracking Methods参考文献 5被引用 65

一句话总结

论文表明，由高质量的人员重识别特征引导的简单分层聚类，可以在DukeMTMC上实现强大的多目标、多摄像头跟踪，结合检测、重识别特征、单摄像头跟踪以及分层聚类，而无需距离矩阵更新。

ABSTRACT

Although many methods perform well in single camera tracking, multi-camera tracking remains a challenging problem with less attention. DukeMTMC is a large-scale, well-annotated multi-camera tracking benchmark which makes great progress in this field. This report is dedicated to briefly introduce our method on DukeMTMC and show that simple hierarchical clustering with well-trained person re-identification features can get good results on this dataset.

研究动机与目标

• 在 DukeMTMC 基准上推动并评估多目标、多摄像头跟踪（MTMC）。
• 提出一个基于轨迹片段的分层聚类的简单、可扩展的 MTMC 方法。
• 证明高质量的重识别特征能够驱动强 MTMC 性能。
• 评估私有检测与公开检测以及重排序对 MTMC 性能的影响。

提出的方法

• 使用 Faster R-CNN 检测人物，并通过置信度/IoU 门控流程。
• 使用在多个公开数据集上训练的行人重识别模型（AlignedReID 风格）提取外观特征。
• 通过 Kuhn–Munkres 数据关联将相邻帧的检测合并成轨迹单元，进行近在线的单摄像头跟踪，然后在每个摄像头内对轨迹进行分层聚类以形成轨迹。
• 在跨摄像头合并前，先对轨迹在跨摄像头合并时通过平均重识别特征并对距离矩阵进行再排序后，进行距离矩阵未更新的分层聚类以合并跨摄像头的轨迹。
• 应用简单的时序和跨摄像头约束（例如最多一分钟的间隔、有限的同时出现）以细化跨摄像头合并。

实验结果

研究问题

• RQ1 具有鲁棒重识别特征的分层聚类是否能在 DukeMTMC 上实现有竞争力的 MTMC 性能？
• RQ2 私有检测与公开检测以及重排如何影响 MTMC 性能？
• RQ3 单摄像头跟踪质量对下游多摄像头链接有什么影响？
• RQ4 哪些实际约束可以在不损害可扩展性的前提下改善跨摄像头轨迹合并？

主要发现

• 在带有公开检测的简易测试集上，MTMC_ReIDp 的 IDF1 为 74.4，IDP 为 84.4，IDR 为 66.4。
• 在带有私有检测的简易测试集上，MTMC_ReID 的 IDF1 为 83.2，IDP 为 85.2，IDR 为 81.2。
• 在带有公开检测的困难测试集上，MTMC_ReID 的 IDF1 为 74.0，IDP 为 81.4，IDR 为 67.8（与 DeepCC 68.5/75.9/62.4 的比较）。
• 在带有私有检测的困难测试集上，MTMC_ReID 的 IDF1 为 74.0，IDP 为 81.4，IDR 为 67.8（DeepCC 68.5/75.9/62.4）。
• 对重识别距离矩阵的再排序在训练/验证集上带来约 2–3 个百分点的 IDF1 提升。
• 总体而言，简单的分层聚类框架结合强重识别特征，在各种配置下实现了最先进的结果。