[论文解读] Scalable Dense Non-rigid Structure-from-Motion: A Grassmannian Perspective

Suryansh Kumar, Anoop Cherian+2 more|arXiv (Cornell University)|Mar 1, 2018

Advanced Vision and Imaging参考文献 33被引用 7

一句话总结

该论文提出了一种可扩展的密集非刚性结构光束法（NRSfM），通过使用格拉斯曼流形（Grassmannian manifold）来表示时空中的局部低秩子空间，从而对复杂非刚性形变进行建模。通过利用时空局部线性特性及基于ADMM的优化方法，该方法在合成数据集和真实数据集上均实现了更高的精度、更强的抗噪能力以及更好的可扩展性，其在重建质量与运行时间方面均优于当前最先进方法。

ABSTRACT

This paper addresses the task of dense non-rigid structure-from-motion (NRSfM) using multiple images. State-of-the-art methods to this problem are often hurdled by scalability, expensive computations, and noisy measurements. Further, recent methods to NRSfM usually either assume a small number of sparse feature points or ignore local non-linearities of shape deformations, and thus cannot reliably model complex non-rigid deformations. To address these issues, in this paper, we propose a new approach for dense NRSfM by modeling the problem on a Grassmann manifold. Specifically, we assume the complex non-rigid deformations lie on a union of local linear subspaces both spatially and temporally. This naturally allows for a compact representation of the complex non-rigid deformation over frames. We provide experimental results on several synthetic and real benchmark datasets. The procured results clearly demonstrate that our method, apart from being scalable and more accurate than state-of-the-art methods, is also more robust to noise and generalizes to highly non-linear deformations.

研究动机与目标

• 解决现有密集NRSfM方法的局限性，包括可扩展性差、计算成本高以及对噪声敏感等问题。
• 克服先前方法中对全局低秩假设的依赖，该假设无法有效捕捉复杂形变中的局部非线性特征。
• 开发一种可扩展、鲁棒且精确的密集NRSfM框架，该框架基于局部子空间而非全局低秩结构进行运算。
• 实现在不依赖稀疏特征点或全局参数化模型的前提下，对高度非线性形变进行可靠三维重建。
• 提供一种计算高效的解决方案，能够在保持高重建保真度的同时，扩展至超过50,000个点的规模。

提出的方法

• 将非刚性形变建模为在空间和时间维度上均有效的局部低维线性子空间的并集。
• 将每个局部子空间表示为格拉斯曼流形上的一点，从而实现对复杂形状动态的紧凑且具有几何意义的表达。
• 将NRSfM问题表述为一种基于格拉斯曼流形的优化问题，通过在时空约束下最小化重建误差来求解。
• 采用基于ADMM的算法高效求解非凸优化问题，确保方法的可扩展性与收敛性。
• 利用局部协方差矩阵的前几大特征值来捕捉主导形变模式，从而降低对噪声的敏感性。
• 通过耦合邻接矩阵 $ C_s $ 和 $ C_t $ 整合空间与时间约束，促进帧间与像素间的平滑性与一致性。

实验结果

研究问题

• RQ1 格拉斯曼流形表示是否能有效建模在局部线性但全局非线性的复杂非刚性形变？
• RQ2 与全局低秩假设相比，将形变建模在格拉斯曼流形上如何提升方法的可扩展性与鲁棒性？
• RQ3 时空局部子空间在多大程度上提升了密集NRSfM中的重建精度与抗噪能力？
• RQ4 所提方法是否能在大规模密集数据集（如超过50,000个点）上实现高性能，同时保持合理的运行时间？
• RQ5 该方法对局部子空间的初始化及所用特征值数量的敏感性如何？

主要发现

• 在合成数据集与真实世界数据集（包括 kinect_paper 和人脸序列基准）上，所提方法的3D重建误差显著低于当前最先进方法。
• 在高达5%高斯噪声的条件下，该方法仍能保持稳定性能，平均重建误差增加极小，展现出强大的抗噪能力。
• 消融实验表明，空间与时间约束均不可或缺，若任一约束被移除，重建精度将出现显著下降。
• 该方法可高效扩展至包含超过50,000个点的数据集，运行时间呈次线性增长，计算效率优于以往的密集NRSfM方法。
• 实验结果表明，仅使用每个局部子空间的前几个特征值即可获得与使用全部特征值相当甚至更优的结果，验证了局部低秩建模的有效性。
• 邻接矩阵 $ C_s $ 与 $ C_t $ 的收敛性表明局部子空间结构稳定且具有意义，支持了格拉斯曼流形建模方法的有效性。