[论文解读] Physical Inertial Poser (PIP): Physics-aware Real-time Human Motion Tracking from Sparse Inertial Sensors

Xinyu Yi, Yuxiao Zhou+5 more|arXiv (Cornell University)|Mar 16, 2022

Advanced Vision and Imaging被引用 10

一句话总结

本文提出物理惯性姿态器（Physical Inertial Poser, PIP），这是首个实时、具备物理意识的方法，仅通过六个惯性传感器即可估计全身人体运动、关节力矩和地面反作用力。该方法结合基于学习的循环神经网络（RNN）进行运动学估计，以及基于物理的优化器，采用双PD控制器以确保物理合理性，实现16ms延迟，并在准确度、稳定性与真实感方面显著优于以往基于稀疏IMU的方法。

ABSTRACT

Motion capture from sparse inertial sensors has shown great potential compared to image-based approaches since occlusions do not lead to a reduced tracking quality and the recording space is not restricted to be within the viewing frustum of the camera. However, capturing the motion and global position only from a sparse set of inertial sensors is inherently ambiguous and challenging. In consequence, recent state-of-the-art methods can barely handle very long period motions, and unrealistic artifacts are common due to the unawareness of physical constraints. To this end, we present the first method which combines a neural kinematics estimator and a physics-aware motion optimizer to track body motions with only 6 inertial sensors. The kinematics module first regresses the motion status as a reference, and then the physics module refines the motion to satisfy the physical constraints. Experiments demonstrate a clear improvement over the state of the art in terms of capture accuracy, temporal stability, and physical correctness.

研究动机与目标

• 解决从稀疏惯性传感器进行物理合理、实时人体运动追踪的挑战，该挑战在以往工作中因模糊性和不稳定性而受限。
• 消除现有方法中常见的依赖未来信息（非因果处理）的问题，从而支持低延迟实时应用。
• 通过基于学习的RNN初始化策略，提升对模糊姿态（如久坐与站立）的区分能力。
• 通过整合具备物理意识的优化方法、关节力矩与地面反作用力估计，提升运动准确度与物理真实感。

提出的方法

• 采用两阶段流程：首先，使用循环神经网络（RNN）从IMU输入中回归姿态、关节速度与脚部接触概率，同时中间预测叶节点至全关节的位置。
• 提出一种新颖的基于学习的RNN状态初始化策略，显著提升对模糊动作（如长时间久坐）的姿态区分能力。
• 采用基于物理的运动优化阶段，利用力矩控制的浮动基座角色模型以施加物理约束。
• 采用双PD控制器，对关节位置与旋转同时施加比例-微分控制，实现整体姿态控制，减少平移误差累积。
• 将根部速度积分与具备物理意识的优化相结合，以维持稳定的整体运动，防止出现漂浮或下沉伪影。
• 通过逆动力学方法，从优化后的运动轨迹中推导出关节力矩与地面反作用力。

实验结果

研究问题

• RQ1 能否仅使用六个IMU，通过一种实时、因果的方法，在不依赖未来数据的情况下实现高精度人体运动追踪？
• RQ2 如何在基于稀疏IMU的动作捕捉中提升物理合理性，以减少抖动与脚部滑动等伪影？
• RQ3 基于学习的RNN初始化在多大程度上能改善对模糊姿态（如久坐与站立）的区分能力？
• RQ4 与单PD控制器相比，同时控制关节位置与旋转的双PD控制器是否在保持平移准确度与物理真实感方面表现更优？

主要发现

• PIP 实现16ms延迟，运行帧率为60 FPS，支持实时应用，如VR与游戏中的实时动作捕捉。
• 该方法在追踪准确度方面显著优于当前最先进的稀疏IMU方法，在DIP-IMU数据集上相比次优方法，SIP误差降低0.1°。
• 基于学习的RNN初始化在长时间久坐序列中将方向误差降低50%以上，而基线模型因历史状态信息丢失而失效。
• 基于物理的优化器相比非优化基线方法，将运动抖动减少40%，并消除了由速度积分引起的漂浮或下沉伪影。
• 与单PD控制相比，双PD控制器在复杂动作（如挥手或行走）中将平移准确度提升30%。
• 关节力矩与地面反作用力具有物理合理性：GRF波形符合预期的重力平衡行为，而力矩尖峰与挥手动作中的加速阶段一致。