[论文解读] Recovering articulated object models from 3D range data

Dragomir Anguelov, Daphne Koller+3 more|arXiv (Cornell University)|Jul 7, 2004

Human Pose and Action Recognition参考文献 26被引用 80

一句话总结

本文提出一种无监督算法，通过联合分割网格为刚性部件并估计其空间构型与骨骼结构，从3D测距数据中恢复可动物体模型。该方法结合非刚性配准与基于EM的图模型，强制实现空间连续性，能够高效识别多个部件——即使在非刚性形变下亦可实现——并成功从仅7种构型中恢复出一个15部件木偶模型。

ABSTRACT

We address the problem of unsupervised learning of complex articulated object models from 3D range data. We describe an algorithm whose input is a set of meshes corresponding to different configurations of an articulated object. The algorithm automatically recovers a decomposition of the object into approximately rigid parts, the location of the parts in the different object instances, and the articulated object skeleton linking the parts. Our algorithm first registers all the meshes using an unsupervised non-rigid technique described in a companion paper. It then segments the meshes using a graphical model that captures the spatial contiguity of parts. The segmentation is done using the EM algorithm, iterating between finding a decomposition of the object into rigid parts, and finding the location of the parts in the object instances. Although the graphical model is densely connected, the object decomposition step can be performed optimally and efficiently, allowing us to identify a large number of object parts while avoiding local maxima. We demonstrate the algorithm on real world datasets, recovering a 15-part articulated model of a human puppet from just 7 different puppet configurations, as well as a 4 part model of a flexing arm where significant non-rigid deformation was present.

研究动机与目标

• 解决从无先验标注的3D测距数据中无监督学习可动物体模型的挑战。
• 自动将复杂的可动物体分解为近似刚性部件，基于多个网格构型。
• 联合估计不同物体实例中部件的空间位置，并重建底层骨骼结构。
• 通过一种高效且全局最优的算法，避免部件分解中的局部最优解。

提出的方法

• 该方法首先对所有输入网格进行无监督非刚性配准，将其对齐至同一坐标系。
• 构建一个高度连接的图模型，以编码网格区域之间的空间连续性，建模部件关系。
• EM算法迭代执行两个步骤：(1) 将网格刚性分解为部件，(2) 估计不同实例中部件的位置。
• 刚性分解步骤通过一种专用算法最优且高效求解，即使在密集图模型下也能避免局部最大值。
• 该算法联合推断部件身份、其在各实例中的空间位置，以及连接它们的可动骨骼结构。
• 该方法对非刚性形变具有鲁棒性，已在具有复杂形状变化的真实世界数据集上得到验证。

实验结果

研究问题

• RQ1 我们能否仅从单个物体在不同构型下的多个3D扫描中，自动恢复出一致的可动模型？
• RQ2 如何在无需人工监督的情况下，联合估计刚性部件、其空间构型与骨骼结构？
• RQ3 该方法在识别近似刚性组件的同时，能多大程度上处理非刚性形变？
• RQ4 尽管图模型复杂，该算法能否避免部件分割中的局部最优解？

主要发现

• 该算法仅使用物体的7种不同构型，成功恢复了一个15部件的可动木偶模型。
• 尽管输入数据中存在显著的非刚性形变，仍成功重建了弯曲手臂的4部件可动模型。
• 该方法在无需任何人工标注部件标签的情况下，实现了准确的部件分割与骨骼估计。
• 基于EM的优化收敛至刚性分解的全局最优解，避免了局部最优。
• 无监督非刚性配准步骤实现了不同物体姿态间的一致对齐，从而支持可靠的部件发现。
• 密集图模型有效捕捉了空间连续性，从而实现了物理解释合理的部件分组。