[论文解读] Seeing Invisible Poses: Estimating 3D Body Pose from Egocentric Video

Hao Jiang, Kristen Grauman|arXiv (Cornell University)|Mar 24, 2016

Human Pose and Action Recognition参考文献 14被引用 10

一句话总结

该论文提出了一种新颖的方法，用于从大多数身体部位不可见的自指视角视频中估计完整的3D身体姿态。通过利用动态运动特征和静态场景结构来推断每帧的姿态，再结合非参数化姿态动力学与动态规划对序列进行优化，该方法实现了最先进性能，在未见受试者上的平均关节点误差相比深度学习基线模型最高降低了6厘米。

ABSTRACT

Understanding the camera wearer's activity is central to egocentric vision, yet one key facet of that activity is inherently invisible to the camera--the wearer's body pose. Prior work focuses on estimating the pose of hands and arms when they come into view, but this 1) gives an incomplete view of the full body posture, and 2) prevents any pose estimate at all in many frames, since the hands are only visible in a fraction of daily life activities. We propose to infer the "invisible pose" of a person behind the egocentric camera. Given a single video, our efficient learning-based approach returns the full body 3D joint positions for each frame. Our method exploits cues from the dynamic motion signatures of the surrounding scene--which changes predictably as a function of body pose--as well as static scene structures that reveal the viewpoint (e.g., sitting vs. standing). We further introduce a novel energy minimization scheme to infer the pose sequence. It uses soft predictions of the poses per time instant together with a non-parametric model of human pose dynamics over longer windows. Our method outperforms an array of possible alternatives, including deep learning approaches for direct pose regression from images.

研究动机与目标

• 解决在自指视角视频中，当大部分身体部位不可见时，估计个人完整3D身体姿态的挑战。
• 开发一种仅依赖单个佩戴在胸前的摄像头来推断‘不可见’姿态的方法，无需多摄像头系统或大量计算资源。
• 通过结合帧级预测与人体运动动力学的时间建模，提升姿态估计的准确性。
• 实现在身体部位频繁被遮挡的非受限真实环境中鲁棒的姿态估计。
• 为自指视觉应用（如活动理解与健康监测）提供一种实用且高效的解决方案。

提出的方法

• 该方法采用两阶段策略：首先，帧级分类器利用动态运动特征和静态场景结构线索，估计每个量化3D姿态的概率。
• 提取与场景无关的动态单应性特征，以捕捉与姿态变化相关的运动模式，例如起立或就坐。
• 从训练序列中学习人体姿态动力学的非参数化模型，以表示随时间变化的合理姿态转换。
• 通过动态规划进行全局优化，寻找通过示例训练序列的最低成本姿态路径，利用时间先验对帧级预测进行正则化。
• 通过最小化结合帧级置信度分数与时间一致性的代价函数，计算最终的姿态序列。
• 该方法效率高，每帧处理时间约为0.5秒，且无需多摄像头硬件或长时间处理。

实验结果

研究问题

• RQ1 当自指视角视频中大部分身体不可见时，能否准确估计3D身体姿态？
• RQ2 在缺乏直接观测的情况下，动态运动特征与静态场景结构是否足以提供姿态推断的充分线索？
• RQ3 对姿态动力学的时间建模能否提升序列中帧级姿态预测的准确性？
• RQ4 该方法在泛化至训练期间未见过的新受试者与新环境时表现如何？
• RQ5 该方法能否超越直接在自指视角数据上训练的深度学习回归基线方法？

主要发现

• 所提方法在未见受试者与环境上的平均关节点误差分别为19.9厘米（NAvgAll）和23.6厘米（NAvg(W+A)），显著优于表2中所有基线方法。
• 在同一名受试者、跨环境测试中，该方法实现17.2厘米的平均误差（NAvgAll），比次优方法高出超过10厘米。
• 与AlwaysStanding基线相比，该方法在脚踝和膝盖部位的误差平均降低6厘米，展现出精细姿态估计能力。
• 即使在无真实标注的户外序列中，该方法仍能生成合理且一致的3D姿态预测，如图10中的侧视对比所验证。
• 该方法对领域偏移具有鲁棒性，在新受试者与新环境中泛化良好，性能下降幅度远小于基线方法。
• 失败案例主要源于输入模糊——如不影响自指视角的臂部姿势，或站立与就坐姿态的混淆——表明特征仍有改进空间。