[论文解读] Synthetic Human Model Dataset for Skeleton Driven Non-rigid Motion Tracking and 3D Reconstruction

Shafeeq Elanattil, Peyman Moghadam|arXiv (Cornell University)|Jan 1, 2019

Gait Recognition and Analysis参考文献 12被引用 3

一句话总结

本文提出一个用于非刚性3D人体运动追踪与重建的合成RGB-D数据集，包含七个高动态运动序列，每帧均提供真实几何形状、骨骼关节和蒙皮权重的标注。该数据集支持基于逼真人体模型的骨骼驱动重建方法的评估，提供详细的姿态与形变数据。

ABSTRACT

We introduce a synthetic dataset for evaluating non-rigid 3D human reconstruction based on conventional RGB-D cameras. The dataset consist of seven motion sequences of a single human model. For each motion sequence per-frame ground truth geometry and ground truth skeleton are given. The dataset also contains skinning weights of the human model. More information about the dataset can be found at: https://research.csiro.au/robotics/our-work/databases/synthetic-human-model-dataset/

研究动机与目标

• 为解决人体身体在帧间存在高动态非刚性运动的公开可用数据集缺乏的问题。
• 为评估骨骼驱动的非刚性3D重建算法，提供真实3D几何形状和骨骼关节位置。
• 通过提供一个受控的合成环境，其中包含精确的运动与形变数据，支持人体动作捕捉研究。
• 通过使用具有已知蒙皮权重的一致人体模型，支持基于RGB-D的非刚性重建方法的基准测试。

提出的方法

• 通过动态人体动作（如拳击、跳跃和出拳）生成七个运动序列的合成数据。
• 为每个序列生成每帧在世界坐标系下的真实3D网格几何形状。
• 为每帧生成在相机坐标系下的真实3D骨骼关节位置。
• 为人体网格模型中每个顶点整合蒙皮权重和骨骼索引信息。
• 使用一致的相机参数和外部对齐方式，合成RGB与深度图像。
• 提供世界到相机的变换矩阵以及结构化的文件组织方式，便于集成到重建流程中。

实验结果

研究问题

• RQ1 如何有效生成一个具有高非刚性运动的合成数据集，以用于3D人体重建评估？
• RQ2 真实骨骼关节在提升骨骼驱动非刚性3D重建精度方面起到何种作用？
• RQ3 蒙皮权重的引入在多大程度上提升了非刚性运动追踪算法的性能？
• RQ4 现有基于RGB-D的重建方法在具有精确真实几何形状和姿态的受控合成数据集上的表现如何？
• RQ5 是否可以使用一个具有已知蒙皮权重的单一、一致的人体模型，来实现不同重建算法之间的基准测试标准化？

主要发现

• 该数据集包含七个高帧间非刚性运动的序列，包括'Boxing'（245帧）和'Punch Strike'（250帧），表现出显著的关节位移。
• 各序列中关节运动的平均值范围为0.084 m（Punch Strike）至2.605 m（Jump Balance），表明存在显著的形变与动态运动。
• 真实3D网格以PLY文件格式在世界坐标系下提供，所有序列均提供逐帧几何数据。
• 真实骨骼关节位置以CSV格式存储，采用相机坐标系，可直接用于姿态估计流程。
• 人体模型包含17,021个顶点和31,492个面，采用14根骨骼结构，每个顶点的蒙皮权重分别存储在labels.csv和weights.csv中。
• 该数据集包含同步的RGB与深度图像、外部相机参数，以及每个序列的世界到相机帧的变换矩阵。