[论文解读] Multiple Human Association between Top and Horizontal Views by Matching Subjects' Spatial Distributions

Ruize Han, Yujun Zhang+6 more|arXiv (Cornell University)|Jul 26, 2019

Video Surveillance and Tracking Methods参考文献 22被引用 11

一句话总结

本文提出了一种新颖的方法，通过匹配主体的空间分布，在俯视图（无人机）与水平视图（可穿戴摄像头）图像之间实现跨视角主体关联，利用基于几何的向量表示和匹配代价函数，估计俯视图中相机的位置和视角。该方法在新数据集上实现了79.6%的平均精确率和77.0%的平均召回率，优于基线方法，尤其在处理遮挡和主体重叠变化方面表现更优。

ABSTRACT

Video surveillance can be significantly enhanced by using both top-view data, e.g., those from drone-mounted cameras in the air, and horizontal-view data, e.g., those from wearable cameras on the ground. Collaborative analysis of different-view data can facilitate various kinds of applications, such as human tracking, person identification, and human activity recognition. However, for such collaborative analysis, the first step is to associate people, referred to as subjects in this paper, across these two views. This is a very challenging problem due to large human-appearance difference between top and horizontal views. In this paper, we present a new approach to address this problem by exploring and matching the subjects' spatial distributions between the two views. More specifically, on the top-view image, we model and match subjects' relative positions to the horizontal-view camera in both views and define a matching cost to decide the actual location of horizontal-view camera and its view angle in the top-view image. We collect a new dataset consisting of top-view and horizontal-view image pairs for performance evaluation and the experimental results show the effectiveness of the proposed method.

研究动机与目标

• 解决在监控场景中，由于外观差异极大，跨俯视与水平视图视频流关联多个主体的挑战。
• 克服以往方法依赖于相机视角方向假设或一致运动方向的局限性。
• 开发一种鲁棒的跨视角主体关联方法，利用空间几何而非外观或运动特征。
• 收集并发布一个新的配对俯视与水平视图图像数据集，包含真实主体关联标注，用于评估。
• 实现在仅部分主体在两视角中共享或发生遮挡的情况下，仍能实现准确的主体关联。

提出的方法

• 基于主体尺寸和相对位置，在水平视图图像中使用2D向量建模检测到的主体的空间分布，形成向量集 V^hor。
• 对于俯视图图像中的每个检测到的主体及潜在的相机位置/方向，估计可见主体的预期空间分布。
• 根据候选相机位置和角度，构建从俯视图中可见主体对应的向量集 V^top。
• 定义 V^hor 与 V^top 之间的匹配代价函数，以评估空间分布的相似性，并优化以获得最佳相机位置和视角。
• 采用贪心搜索策略，在俯视图图像中遍历可能的相机位置和视角，以最小化匹配代价。
• 通过在构建向量表示时识别并排除被遮挡的主体，引入一种简单的遮挡处理策略。

实验结果

研究问题

• RQ1 当外观差异极大时，俯视与水平视图之间的空间分布匹配能否提升跨视角主体关联性能？
• RQ2 在关联主体数量和两视角间共享主体比例变化的情况下，所提方法表现如何？
• RQ3 遮挡在多大程度上影响跨视角主体关联性能？能否被有效缓解？
• RQ4 当仅部分主体在两视角中可见（如主体位于视场范围外）时，该方法是否具有泛化能力？
• RQ5 与基于外观或运动特征的重识别方法相比，该方法在鲁棒性和准确性方面表现如何？

主要发现

• 所提方法在完整数据集上实现了79.6%的平均精确率和77.0%的平均召回率，优于所有基线方法，包括人工与自动基线。
• 当关联主体数量过少或过多时，性能下降，表明在稀疏或拥挤场景中存在挑战。
• 在共享主体比例高的图像对中，该方法保持了强劲性能，且随着共享主体比例的提高，精确率与召回率均上升。
• 遮挡处理显著提升了性能，平均召回率从无遮挡处理时的65.1%提升至遮挡子集上的74.5%。
• 该方法能有效处理大量未共享主体的情况——例如，主体在任一视角中位于视场范围外——表明对部分重叠具有强鲁棒性。
• 失败案例主要源于主体检测错误或主体密度过高导致遮挡被误判，凸显了检测精度的局限性。