[论文解读] Polarization Human Shape and Pose Dataset

Shihao Zou, Xinxin Zuo+6 more|arXiv (Cornell University)|Apr 30, 2020

Optical measurement and interference techniques参考文献 5被引用 6

一句话总结

本论文介绍了极化人体姿态与形状数据集（PHSPD），这是一个新型多视角数据集，同步捕获了12名受试者在执行多样化人体动作时的极化、彩色和深度图像。作者提出了一种低成本、高效的3D人体形状与姿态标注流程，结合SMPL拟合与点云优化，无需动作捕捉服或特殊服装即可实现精确的3D人体重建，共提供282,112帧标注数据供学术研究使用。

ABSTRACT

Polarization images are known to be able to capture polarized reflected lights that preserve rich geometric cues of an object, which has motivated its recent applications in reconstructing detailed surface normal of the objects of interest. Meanwhile, inspired by the recent breakthroughs in human shape estimation from a single color image, we attempt to investigate the new question of whether the geometric cues from polarization camera could be leveraged in estimating detailed human body shapes. This has led to the curation of Polarization Human Shape and Pose Dataset (PHSPD), our home-grown polarization image dataset of various human shapes and poses.

研究动机与目标

• 开发一种低成本、实用的替代方案，以替代昂贵的动作捕捉系统，用于3D人体形状与姿态标注。
• 探索极化成像在捕捉几何线索以实现人体重建方面的潜力。
• 创建一个大规模、公开可用的数据集，包含同步的极化、彩色和深度数据，用于3D人体分析。
• 仅使用标准RGB-D相机与极化相机，无需特殊服装或传感器，实现精确的3D人体形状与姿态估计。
• 为训练利用极化线索以提升表面法向与形状估计性能的模型提供基础。

提出的方法

• 通过套接字通信实现软同步协议，同步一台极化相机与三台Kinect v2相机（每台均含彩色与深度图像），最高可达15 fps。
• 利用Kinect的多视角RGB-D数据，通过融合OpenPose与Kinect检测结果，估计初始3D关节点位置，使用50像素阈值验证关节点的一致性。
• 对初始3D姿态估计应用SMPL模型拟合，采用可微函数将形状参数（β ∈ ℝ¹⁰）与姿态参数（θ ∈ ℝ⁷²）映射为3D网格（6890个顶点）。
• 通过迭代优化SMPL形状，最小化网格顶点与3D人体表面点云中最近点之间的距离，提升对齐精度。
• 生成前景掩码，并从多视角深度数据中估计目标表面法向，即使在存在噪声的情况下，仍可支持法向预测任务。
• 将长序列切割为1061个动作片段，分为12类粗粒度与34类细粒度动作类别，用于动作识别评估。

实验结果

研究问题

• RQ1 极化图像是否能提供足够的几何线索以改善3D人体形状与姿态估计？
• RQ2 仅使用标准RGB-D相机与极化相机的低成本、非侵入式设置，能否在无需动作捕捉服或标记的情况下实现精确的3D人体标注？
• RQ3 SMPL拟合结合点云优化在将3D人体模型与多视角数据中的真实人体对齐方面效果如何？
• RQ4 所提出的标注流程能否在多种人体姿态与动作下生成一致且准确的3D形状与姿态标注？
• RQ5 在本数据集上训练的模型，在利用极化与多视角数据预测表面法向与人体姿态方面的性能如何？

主要发现

• 该数据集包含12名受试者（9名男性，3名女性）的282,112帧标注数据，共执行18种不同动作，每种动作重复4次，并包含自由风格序列。
• 通过融合多视角Kinect数据并基于3D点云优化SMPL参数，该标注流程实现了高精度，相较于仅使用骨骼的拟合方法，显著降低了对齐误差。
• 系统实现了高达15 fps的实时同步，时间抖动极小，经由在所有四台相机视角中追踪下落的袋子得到验证。
• 该数据集包含1061个动作片段，涵盖12类粗粒度与34类细粒度动作类别，支持动作识别与人体运动建模的评估。
• 尽管基于深度的法向估计存在噪声，但最终在该数据集上训练的模型仍能学习到平滑且准确的表面法向图。
• 该数据集仅限学术用途发布，为基于动作捕捉的数据集（如Human3.6M）提供了一种可扩展、低成本的替代方案。