[论文解读] Quasi-Dense Instance Similarity Learning

Jiangmiao Pang, Linlu Qiu+4 more|arXiv (Cornell University)|Jun 11, 2020

Video Surveillance and Tracking Methods参考文献 56被引用 10

一句话总结

本文提出准密集实例相似性学习，一种通过每张图像对使用数百个区域提议来训练相似性度量的方法，使通过简单的最近邻搜索实现精确的实例匹配成为可能。该方法在BDD100K和Waymo等追踪基准上实现了最先进性能，无需依赖位置或运动启发式方法，MOTA提升近10个百分点。

ABSTRACT

Similarity metrics for instances have drawn much attention, due to their importance for computer vision problems such as object tracking. However, existing methods regard object similarity learning as a post-hoc stage after object detection and only use sparse ground truth matching as the training objective. This process ignores the majority of the regions on the images. In this paper, we present a simple yet effective quasi-dense matching method to learn instance similarity from hundreds of region proposals in a pair of images. In the resulting feature space, a simple nearest neighbor search can distinguish different instances without bells and whistles. When applied to joint object detection and tracking, our method can outperform existing methods without using location or motion heuristics, yielding almost 10 points higher MOTA on BDD100K and Waymo tracking datasets. Our method is also competitive on one-shot object detection, which further shows the effectiveness of quasi-dense matching for category-level metric learning. The code will be available at this https URL.

研究动机与目标

• 为解决现有方法在实例相似性学习中仅使用稀疏真实匹配的局限性。
• 通过在图像对之间利用密集的区域提议集来改进实例级相似性学习。
• 消除联合检测与追踪中对事后位置或运动启发式方法的依赖。
• 通过准密集监督实现有效的类别级度量学习。
• 在零样本目标检测上展示优异性能，验证该方法的泛化能力。

提出的方法

• 该方法采用准密集匹配策略，为每对图像采样数百个区域提议用于相似性训练。
• 通过对比损失目标训练深度神经网络，以预测区域提议之间的相似性分数。
• 模型学习一个特征空间，使得最近邻搜索能够可靠地区分不同实例。
• 该方法避免显式使用追踪头或运动建模，完全依赖学习到的相似性度量。
• 在图像对之间大规模正负区域提议对上优化训练目标。
• 最终模型以端到端方式应用于联合检测与追踪流程，无需额外启发式方法。

实验结果

研究问题

• RQ1 与稀疏匹配相比，来自数百个区域提议的准密集监督是否能提升实例相似性学习？
• RQ2 在未使用运动或位置先验的情况下，通过密集区域级别监督训练的相似性度量是否能泛化到联合检测与追踪任务？
• RQ3 该方法在零样本目标检测上的表现如何，能否体现其在类别级度量学习中的有效性？
• RQ4 该方法能否在BDD100K和Waymo等标准追踪基准上实现最先进性能？
• RQ5 当使用学习到的相似性度量时，移除事后启发式方法对追踪性能有何影响？

主要发现

• 与现有方法相比，该方法在BDD100K追踪基准上的MOTA得分几乎提高了10个百分点。
• 在Waymo追踪数据集上，MOTA得分也几乎提升了10个百分点，优于先前方法。
• 该模型在零样本目标检测任务上表现优异，证明其在类别级度量学习中的有效性。
• 该方法仅通过在学习到的特征空间中执行最近邻搜索，即可实现精确的实例匹配，无需复杂的追踪组件。
• 即使在使用位置或运动启发式方法的现有技术中，该方法仍表现更优，表明所学习相似性度量的鲁棒性。
• 该方法的代码将公开发布，以支持可复现性与进一步研究。