[论文解读] Pose Estimation from a Single Depth Image for Arbitrary Kinematic Skeletons

Daniel Ly, Ashutosh Saxena+1 more|arXiv (Cornell University)|Jun 27, 2011

Human Pose and Action Recognition参考文献 11被引用 11

一句话总结

本文提出一种无需训练的姿势估计算法，仅通过单张深度图像，利用进化算法优化关节角度和连杆长度，实现对任意运动学骨架的高精度姿态估计。即使在严重自遮挡情况下，该方法在39自由度蜘蛛骨架上达到99%的准确率，在78自由度人形骨架上达到84%的准确率，优于梯度上升基线方法在高维空间中的表现。

ABSTRACT

We present a method for estimating pose information from a single depth image given an arbitrary kinematic structure without prior training. For an arbitrary skeleton and depth image, an evolutionary algorithm is used to find the optimal kinematic configuration to explain the observed image. Results show that our approach can correctly estimate poses of 39 and 78 degree-of-freedom models from a single depth image, even in cases of significant self-occlusion.

研究动机与目标

• 实现无需预先训练或领域特定数据的任意运动学骨架的姿态估计。
• 解决在骨架结构未知或非标准时，从单张深度图像估计3D姿态的挑战。
• 克服现有方法依赖大量训练数据或人工标注数据的局限性。
• 开发一种通用的、基于模型的方法，仅利用运动学结构和深度图像推断姿态。
• 在具有显著自遮挡的高自由度骨架上评估性能，此类场景下传统方法往往失效。

提出的方法

• 将姿态估计建模为非凸优化问题，通过最小化基于点到模型距离的鲁棒误差函数实现。
• 目标函数引入对数障碍项以降低对异常值的敏感性，并使用从深度图像点距离中推导出的尺度参数σ。
• 采用进化算法搜索关节角度和连杆长度的高维参数空间，避免陷入局部最优。
• 算法使用标准进化算子：对关节参数进行随机突变，并在父代骨架之间重组结构分支。
• 骨架以可参数化关节角度和长度的无环图形式表示，支持灵活配置。
• 通过将骨架模型投影到深度图像并测量每个观测点到最近点的距离来评估适应度。

实验结果

研究问题

• RQ1 无训练方法能否从单张深度图像中准确估计任意运动学骨架的姿态？
• RQ2 在存在自遮挡的高自由度骨架（如78自由度）上，进化算法的表现如何？
• RQ3 在复杂非凸优化景观中，进化方法是否优于基于梯度的优化方法（如梯度上升）？
• RQ4 在仅提供骨架结构和深度图像的情况下，该方法能多大程度上恢复准确的姿态？
• RQ5 在真实深度图像中因自遮挡导致的噪声和数据缺失情况下，该方法的鲁棒性如何？

主要发现

• 在39自由度蜘蛛骨架上，进化算法在存在显著自遮挡的情况下，仍实现了99%的连杆定位准确率。
• 在78自由度人形骨架上，该方法实现了84%的连杆定位准确率，展现出对高维配置空间的强鲁棒性。
• 在5分制定性评分中，蜘蛛骨架获得4.9分，人形骨架获得4.1分，表明其具有出色的视觉保真度。
• 在高维人形骨架上，进化方法显著优于梯度上升基线，成功避免了与真实姿态偏差极大的局部最优解。
• 在低维蜘蛛骨架上，进化方法仅略胜于梯度上升，表明其在复杂优化景观中具有一致的优越性。
• 对于蜘蛛骨架，每张图像处理约需30分钟（单个2.8GHz核心），人形骨架约需70分钟，共执行约10^9次目标函数评估。