[论文解读] Shape2Motion: Joint Analysis of Motion Parts and Attributes from 3D Shapes

Xiaogang Wang, Bin Zhou+4 more|arXiv (Cornell University)|Mar 10, 2019

3D Shape Modeling and Analysis参考文献 31被引用 6

一句话总结

Shape2Motion 提出了一种联合深度学习框架，通过单个3D点云实现运动部件分割与运动属性估计，采用基于运动驱动特征和损失的两阶段'提出-优化'策略，在新提出的3D形状移动性分析基准上实现了最先进性能。

ABSTRACT

For the task of mobility analysis of 3D shapes, we propose joint analysis for simultaneous motion part segmentation and motion attribute estimation, taking a single 3D model as input. The problem is significantly different from those tackled in the existing works which assume the availability of either a pre-existing shape segmentation or multiple 3D models in different motion states. To that end, we develop Shape2Motion which takes a single 3D point cloud as input, and jointly computes a mobility-oriented segmentation and the associated motion attributes. Shape2Motion is comprised of two deep neural networks designed for mobility proposal generation and mobility optimization, respectively. The key contribution of these networks is the novel motion-driven features and losses used in both motion part segmentation and motion attribute estimation. This is based on the observation that the movement of a functional part preserves the shape structure. We evaluate Shape2Motion with a newly proposed benchmark for mobility analysis of 3D shapes. Results demonstrate that our method achieves the state-of-the-art performance both in terms of motion part segmentation and motion attribute estimation.

研究动机与目标

• 解决在缺乏预分割或多个运动状态的情况下，分析3D形状中部件移动性的挑战。
• 克服现有方法依赖预分割部件或多个运动状态的局限性，这些信息在真实世界形状库中往往不可用。
• 从单个静态3D形状中同时预测运动部件及其属性（类型与参数）。
• 设计一种捕捉运动部件与其移动功能之间耦合关系的框架，以提升分割与属性估计性能。
• 贡献首个用于3D形状移动性分析的基准，涵盖运动部件分割与运动属性估计。

提出的方法

• 提出两阶段框架：先由运动能力提议网络（MPN）提出，再由运动优化网络（MON）优化。
• MPN 使用运动部件提议模块与运动属性提议模块生成候选运动能力，并通过置信度过滤。
• MON 通过联合优化运动部件分割与运动属性估计，利用运动驱动损失对提议进行精细化。
• 引入运动驱动特征与损失，评估所提议运动在变换后对形状结构的保持程度。
• 基于已知运动下移动部件与真实姿态的对齐情况，引入姿态偏差损失，提升训练收敛性。
• 应用具有可学习边界参数（τ_sim）的铰链相似性损失，以在训练期间提升提议质量。

实验结果

研究问题

• RQ1 能否仅使用单个3D形状，在无需多个运动状态或预分割的情况下，联合预测运动部件及其运动属性？
• RQ2 运动驱动特征与损失如何提升运动部件分割与运动属性估计的准确性？
• RQ3 与端到端方法相比，'提出-优化'策略对性能的影响如何？
• RQ4 运动部件与其移动功能之间的耦合关系如何促进更优的特征学习与损失设计？
• RQ5 所提方法在具有不同移动性复杂度的多样化3D形状类别中，其泛化能力如何？

主要发现

• Shape2Motion 在运动部件分割与运动属性估计任务上均达到最先进性能，在新引入的基准上优于现有方法。
• 当置信度阈值 τ_conf ≥ 0.5 时，运动部件提议的平均交并比（IoU）达到 70.7%，在 τ_conf = 0.5 时表现最佳。
• 当 τ_sim = 100 时，IoU ≥ 0.5 的召回率超过 0.9，表明在最优相似性阈值下生成了高质量的提议。
• 移除 MON 模块后性能显著下降，证实其在优化分割与属性估计中的关键作用。
• 运动属性提议模块显著提升了移动性质量，80% 的提议相似度得分低于 0.02，表明属性预测具有高精度。
• 每张3D形状的总推理时间约为10秒（MPN耗时0.4秒，MON耗时1秒），表明其在实际应用中具备良好的效率。