[论文解读] Putting People in their Place: Monocular Regression of 3D People in Depth

Yu Sun, Wu Liu+4 more|arXiv (Cornell University)|Dec 15, 2021

Human Pose and Action Recognition被引用 5

一句话总结

该论文提出BEV，一种单阶段、端到端可微方法，通过引入隐式鸟瞰图（BEV）表示来解决单目深度模糊问题，直接从单张RGB图像回归3D人体姿态、形状和相对深度。通过结合新颖的3D热图和3D偏移图，联合推理2D图像位置与3D深度，并利用弱监督的深度和年龄损失，结合年龄感知的3D人体建模，BEV在新提出的Relative Human（RH）和AGORA数据集上实现了深度推理、儿童体型估计和遮挡鲁棒性的最先进性能。

ABSTRACT

Given an image with multiple people, our goal is to directly regress the pose and shape of all the people as well as their relative depth. Inferring the depth of a person in an image, however, is fundamentally ambiguous without knowing their height. This is particularly problematic when the scene contains people of very different sizes, e.g. from infants to adults. To solve this, we need several things. First, we develop a novel method to infer the poses and depth of multiple people in a single image. While previous work that estimates multiple people does so by reasoning in the image plane, our method, called BEV, adds an additional imaginary Bird's-Eye-View representation to explicitly reason about depth. BEV reasons simultaneously about body centers in the image and in depth and, by combing these, estimates 3D body position. Unlike prior work, BEV is a single-shot method that is end-to-end differentiable. Second, height varies with age, making it impossible to resolve depth without also estimating the age of people in the image. To do so, we exploit a 3D body model space that lets BEV infer shapes from infants to adults. Third, to train BEV, we need a new dataset. Specifically, we create a "Relative Human" (RH) dataset that includes age labels and relative depth relationships between the people in the images. Extensive experiments on RH and AGORA demonstrate the effectiveness of the model and training scheme. BEV outperforms existing methods on depth reasoning, child shape estimation, and robustness to occlusion. The code and dataset are released for research purposes.

研究动机与目标

• 解决在人群密集场景中，不同身高人群单目深度估计的根本模糊性，特别是涉及多种年龄的场景。
• 开发一种统一的单阶段方法，从单张RGB图像中联合回归多人的3D姿态、形状和相对深度。
• 通过引入隐式鸟瞰图（BEV）表示，克服现有方法中仅依赖2D表示的局限，实现显式的3D推理。
• 构建一个新的野外数据集Relative Human（RH），包含年龄标签和相对深度关系，用于在无度量深度监督下训练和评估深度推理。
• 通过整合年龄感知的3D人体建模与弱监督损失，实现对严重遮挡和多样化体型的鲁棒估计。

提出的方法

• 提出一种新颖的鸟瞰图（BEV）表示，隐式建模3D人体中心位置的深度信息，使网络能够与2D图像位置并行推理深度。
• 通过融合前视图2D热图与BEV热图，构建3D热图，实现多人在2D与3D空间中的联合定位。
• 采用3D偏移图（OM）以细化粗略检测结果，提升3D平移预测的粒度。
• 引入前视图条件（FVC）模块，利用2D人体中心热图作为注意力信号，在BEV推理过程中增强深度估计性能。
• 应用分段深度层损失（$\boldsymbol{\mathcal{L}_{depth}}$），相比序数深度损失，维持合理惩罚并提升深度精度。
• 实施弱监督训练（WST），结合深度分类损失与年龄分类损失（$\boldsymbol{\mathcal{L}_{depth}}$，$\boldsymbol{\mathcal{L}_{age}}$），在无度量深度标注的情况下学习深度与年龄信息。

实验结果

研究问题

• RQ1 能否通过单阶段、端到端可微方法，在无度量深度监督下，有效从单张RGB图像回归3D人体姿态、形状与相对深度？
• RQ2 与仅依赖2D表示的方法相比，引入隐式鸟瞰图（BEV）表示在人群密集、遮挡严重的场景中，如何提升深度推理能力？
• RQ3 年龄感知的3D人体建模与弱监督损失在多大程度上可缓解单目3D人体估计中的深度/身高模糊性？
• RQ4 与现有序数深度损失相比，所提出的分段深度损失在提升3D平移精度方面的有效性如何？
• RQ5 结合相对深度与年龄标签的弱监督训练方案，是否能在真实野外数据集上实现最先进性能？

主要发现

• 在Relative Human（RH）数据集上，BEV的PCDR 0.2达到68.27，相比CRMH在深度推理精度上提升4.1%。
• 在AGORA数据集上，无弱监督训练（BEV w/o WST）在所有检测指标上显著优于ROMP与SOTA方法，NMVE为108.3，NMJE为113.2。
• 消融实验表明，3D偏移图（OM）与前视图条件（FVC）提升了3D定位的粒度，将平移误差降低最多达12.7%。
• 分段深度损失（$\boldsymbol{\mathcal{L}_{depth}}$）相比序数深度损失，将3D平移误差降低15%，尤其在深度维度上从0.509降至0.423。
• 结合$\boldsymbol{\mathcal{L}_{depth}}$与$\boldsymbol{\mathcal{L}_{age}}$的弱监督训练（WST）在深度推理性能上表现最佳，尤其对年轻个体效果显著。
• BEV在遮挡与多样化体型下表现出强鲁棒性，能成功区分复杂场景中处于不同深度的重叠个体。