[论文解读] Sparse Inertial Poser: Automatic 3D Human Pose Estimation from Sparse IMUs

Timo von Marcard, Bodo Rosenhahn+2 more|arXiv (Cornell University)|Mar 23, 2017

Human Pose and Action Recognition被引用 19

一句话总结

Sparse Inertial Poser (SIP) 实现了仅通过六个惯性传感器（IMUs）进行高精度的3D人体姿态估计，方法是通过联合优化整个序列中所有帧的统计人体模型（SMPL），以匹配姿态和加速度数据。该方法在无视频输入的情况下实现了高精度——姿态误差为13.32°，位置误差为3.9厘米，在TNT15数据集上优于基线方法，并在攀爬、跳跃等非约束户外场景中表现出鲁棒性。

ABSTRACT

We address the problem of making human motion capture in the wild more practical by using a small set of inertial sensors attached to the body. Since the problem is heavily under-constrained, previous methods either use a large number of sensors, which is intrusive, or they require additional video input. We take a different approach and constrain the problem by: (i) making use of a realistic statistical body model that includes anthropometric constraints and (ii) using a joint optimization framework to fit the model to orientation and acceleration measurements over multiple frames. The resulting tracker Sparse Inertial Poser (SIP) enables 3D human pose estimation using only 6 sensors (attached to the wrists, lower legs, back and head) and works for arbitrary human motions. Experiments on the recently released TNT15 dataset show that, using the same number of sensors, SIP achieves higher accuracy than the dataset baseline without using any video data. We further demonstrate the effectiveness of SIP on newly recorded challenging motions in outdoor scenarios such as climbing or jumping over a wall.

研究动机与目标

• 解决在真实世界环境中基于标记或视觉的系统不实用时，非约束人体动作捕捉的挑战。
• 克服稀疏 IMU 数据（如传感器数量有限、积分漂移）在全身3D姿态估计中的欠定性问题。
• 开发一种仅使用六个 IMUs（位于手腕、小腿、背部和头部）的最小侵入性解决方案，以实现在日常活动中的实际部署。
• 通过利用统计人体建模和多帧优化，消除对视频输入或大规模传感器阵列的依赖。
• 在复杂、非约束的运动（如攀爬、跳跃和书写）中展示鲁棒性能，即使在户外和遮挡环境下也能保持稳定。

提出的方法

• 使用 SMPL 统计人体模型编码人体测量和运动学约束，提供关于合理人体姿态的先验知识。
• 构建一个联合优化框架，同时将人体模型拟合到整个序列中所有 IMU 帧的姿态和加速度测量数据。
• 最小化一个代价函数，该函数结合了 IMU 测量值（姿态和加速度）与 SMPL 模型的姿态和形状参数，以确保物理上的合理性。
• 通过一次性对所有帧进行优化，引入时间正则化，相比逐帧积分，能有效减少漂移并提高稳定性。
• 引入关节角度和身体比例的先验，以在某些关节（如手腕、脚踝）缺乏直接测量时，仍能保持解剖学上的真实性。
• 采用基于梯度的优化方法求解完整姿态序列，目标函数对偏离传感器数据和模型先验的偏差施加惩罚。

实验结果

研究问题

• RQ1 仅使用六个 IMUs 而无视频输入或密集传感器阵列，能否准确估计全身3D人体姿态？
• RQ2 与逐帧积分相比，对所有帧进行联合优化在减少漂移和提升姿态估计稳定性方面有多有效？
• RQ3 统计人体模型（SMPL）在非约束动作捕捉中，能在多大程度上补偿 IMU 数据的模糊性和稀疏性？
• RQ4 该方法能否泛化到复杂的真实世界运动（如攀爬、跳跃或书写），这些运动涉及高动态运动和遮挡？
• RQ5 与仅使用姿态数据或不同人体模型的基线方法相比，该方法在姿态精度上的定量表现如何？

主要发现

• 在仅使用六个 IMUs 的情况下，SIP 在 TNT15 数据集上实现了平均姿态误差 13.32° 和位置误差 3.9 cm，显著优于无视频输入的基线方法。
• 该方法成功重建了复杂运动，如跳过墙壁、攀爬、骑自行车和在白板上书写，证明了其在非约束户外环境中的鲁棒性。
• 对所有帧进行联合优化能有效抑制漂移并提升稳定性，优于以往工作中常用的逐帧积分方法。
• SMPL 模型的使用使得即使在传感器数据不完整且模糊的情况下，也能实现高精度的姿态估计，提供了强有力的解剖学和运动学先验。
• 即使使用基于身体形态评分推导出的近似人体模型，该方法依然有效，表明其对输入不确定性的鲁棒性。
• SIP 实现了仅需六个传感器的最小侵入式动作捕捉，使其在虚拟现实、健康监测和行为研究等实际应用中具有可行性。