[论文解读] Temporally coherent 4D reconstruction of complex dynamic scenes

Armin Mustafa, Hansung Kim+2 more|arXiv (Cornell University)|Mar 10, 2016

Advanced Vision and Imaging参考文献 30被引用 10

一句话总结

本文提出了一种无需场景先验知识或相机标定的多运动相机复杂动态场景时序一致4D重建框架。该方法结合稀疏到密集的时序对应关系与联合多视角分割和重建，利用测地线星凸性约束，实现了鲁棒且时序一致的4D模型，显著提升了非刚性物体分割与形状重建的准确性。

ABSTRACT

This paper presents an approach for reconstruction of 4D temporally coherent models of complex dynamic scenes. No prior knowledge is required of scene structure or camera calibration allowing reconstruction from multiple moving cameras. Sparse-to-dense temporal correspondence is integrated with joint multi-view segmentation and reconstruction to obtain a complete 4D representation of static and dynamic objects. Temporal coherence is exploited to overcome visual ambiguities resulting in improved reconstruction of complex scenes. Robust joint segmentation and reconstruction of dynamic objects is achieved by introducing a geodesic star convexity constraint. Comparative evaluation is performed on a variety of unstructured indoor and outdoor dynamic scenes with hand-held cameras and multiple people. This demonstrates reconstruction of complete temporally coherent 4D scene models with improved nonrigid object segmentation and shape reconstruction.

研究动机与目标

• 解决在无场景结构或相机标定先验知识的复杂动态场景中，实现时序一致4D模型重建的挑战。
• 通过利用时间维度上的时序一致性，克服单帧与多视角重建中的视觉模糊性。
• 实现在非结构化室内外场景中，对静态与非刚性动态物体的完整、无监督4D重建。
• 通过整合时空约束与新颖的几何优化框架，提升非刚性物体的分割与形状重建性能。

提出的方法

• 使用鲁棒的稀疏3D特征跟踪在宽基线相机间建立初始稀疏时序对应关系。
• 利用时空信息估计初始密集光流，生成时序一致但粗略的4D模型。
• 引入测地线星凸性约束，以在多视角分割与重建优化中强制形状一致性。
• 利用测地线星凸性约束，对分割与重建进行联合多视角优化，以细化密集表面模型。
• 通过时间传播初始稀疏对应关系，改善每帧的初始化并降低计算成本。
• 采用多层优化框架，在视角与时间维度上强制实现时空一致性，以解决基于外观的模糊性。

实验结果

研究问题

• RQ1 在无场景或相机先验知识的复杂动态场景中，如何实现时序一致的4D重建？
• RQ2 在非刚性动态场景中，利用时序一致性在多大程度上能提升重建精度与分割鲁棒性？
• RQ3 测地线星凸性约束是否能有效提升多视角4D重建中的形状估计与分割性能？
• RQ4 与逐帧或基于背景辅助的重建技术相比，所提方法在效率与准确性方面表现如何？
• RQ5 时序一致性在解决遮挡及前景与背景外观相似等视觉模糊性方面有何影响？

主要发现

• 所提方法在Dance2数据集上实现了99.5%的分割完整度，显著提升了重建完整度与准确性。
• 与以往需要已知背景的联合分割与重建方法相比，计算成本降低了约50%。
• 重建结果在模糊区域（如杂耍者右腿）表现出更优的细节恢复能力，归因于时序一致性。
• 该方法生成了具有时间维度上密集表面对应关系的时序一致4D模型，这是先前最先进方法未能实现的能力。
• 定量评估显示性能持续提升：在Dance1数据集上完整度达99.2%与99.4%，在Office数据集上达99.3%与99.0%，优于现有方法。
• 测地线星凸性约束实现了鲁棒的联合优化，使复杂场景中的分割与形状估计更加准确与稳定。