[论文解读] Single Image Human Proxemics Estimation for Visual Social Distancing

Maya Aghaei, Matteo Bustreo+4 more|arXiv (Cornell University)|Nov 3, 2020

Video Surveillance and Tracking Methods参考文献 62被引用 4

一句话总结

本文提出了一种半自动方法，通过利用直观的辅助比例估计地面平面与图像平面之间的单张未标定图像中的同调变换，结合人体关节点检测（尤其是躯干长度）来推断度量的人际距离。该方法在适配后的公开数据集上优于基线模型，并实现实时监控场景下的违规检测，主要贡献包括：邻近空间估计、鲁棒的度量参考选择以及在真实环境中的部署。

ABSTRACT

In this work, we address the problem of estimating the so-called "Social Distancing" given a single uncalibrated image in unconstrained scenarios. Our approach proposes a semi-automatic solution to approximate the homography matrix between the scene ground and image plane. With the estimated homography, we then leverage an off-the-shelf pose detector to detect body poses on the image and to reason upon their inter-personal distances using the length of their body-parts. Inter-personal distances are further locally inspected to detect possible violations of the social distancing rules. We validate our proposed method quantitatively and qualitatively against baselines on public domain datasets for which we provided groundtruth on inter-personal distances. Besides, we demonstrate the application of our method deployed in a real testing scenario where statistics on the inter-personal distances are currently used to improve the safety in a critical environment.

研究动机与目标

• 解决在非约束性、未标定监控场景中估计度量人际距离以实现社交距离合规性的挑战。
• 开发一种实用的半自动解决方案，通过用户直观定义的比例实现地面平面与图像平面之间同调变换的估计。
• 识别在未标定环境下用于距离推断的最可靠人体部位（例如躯干）。
• 在适配后的公开数据集上，通过真实人际距离标注，对方法进行定量和定性验证。
• 展示该系统在真实世界环境中的部署，实现机场和办公室等关键场所的7×24小时监控与统计分析。

提出的方法

• 通过手动选择的两个辅助透视比例估计地面平面与图像平面之间的同调变换矩阵，实现在无需完整相机标定情况下的度量推断。
• 使用现成的2D姿态估计器（如OpenPose）检测人体关节点，并提取身体部位长度作为度量参考。
• 由于躯干在正常运动下结构稳定且形变最小，因此被视为最可靠的度量参考。
• 利用估计的同调变换和关节点坐标计算图像中的人际距离，随后检查是否违反社交距离规则（例如≤2m）。
• 为每个人建立局部参考系以推断成对距离，并检测重叠的安全空间（邻近空间），从而识别违规行为。
• 在真实世界监控场景中部署系统，支持最多18台摄像机以1 fps的速度运行，通过统计分析指导空间重新设计并实现实时告警。

Figure 1: An example of the output of our proposed pipeline. The pedestrians are modeled as skeletal figures and each disc on the ground plane represents the minimum allowed inter-personal distance. The violation of social distancing is shown in red.

实验结果

研究问题

• RQ1 使用直观用户定义比例的半自动同调变换估计方法是否能在未标定监控图像中实现准确的度量推断？
• RQ2 在未标定环境下，人体哪个部位（躯干、手臂、腿部）能提供最可靠的度量参考用于人际距离估计？
• RQ3 与自动同调变换估计方法（如AutoRect）以及基于边界框的基线方法相比，该方法在未标定数据上的准确率如何？
• RQ4 该系统在真实世界非约束环境中实现实时部署时，能够多大程度上检测社交距离违规？
• RQ5 在真实世界监控环境中部署此类系统时，主要挑战和局限性是什么，特别是关于时间一致性与家庭群体检测方面？

主要发现

• 所提出的半自动同调变换估计方法在人际距离估计方面优于AutoRect等自动方法，用户选择的比例与真实同调变换具有高度一致性。
• 使用躯干长度作为度量参考可获得最一致且准确的距离估计，其性能优于手臂和腿部长度，原因在于形变和遮挡更少。
• 基于边界框的度量参考表现较差，凸显了在可靠度量推断中使用详细关节点信息的必要性。
• 与最先进基线方法相比，本方法表现优异，尤其在Monoloco因训练数据偏差而性能下降的序列中表现更优。
• 该系统已在真实环境中成功部署（如机场、办公室），每小时处理超过100,000次观测，支持实时告警与统计分析，用于空间重新设计。
• 局限性包括对姿态检测器准确性的依赖，以及在存在多个同调变换或非均匀相机投影的场景中性能下降。

Figure 2: A schematic representation of our proposed pipeline for estimation of safe space and detection of its violation, comprised of three main computational stages: body-joint detection, body height estimation for metric inference, and ground-plane geometry estimation.