[论文解读] StrobeNet: Category-Level Multiview Reconstruction of Articulated Objects

Ge Zhang, Or Litany+2 more|arXiv (Cornell University)|May 17, 2021

3D Shape Modeling and Analysis参考文献 56被引用 7

一句话总结

StrobeNet 是一种基于学习的方法，用于从一张或多张未标定的 RGB 图像中进行关节物体的类别级 3D 重建，通过关节 canonicalization 将多种姿态统一到共享的 canonical 空间中。它估计富含特征的 canonical 点云、关节位置和部件分割，实现无需对应关系的多视角聚合，并生成平滑、可动画化的隐式 3D 重建结果，能够泛化到未见过的实例和任意姿态。

ABSTRACT

We present StrobeNet, a method for category-level 3D reconstruction of articulating objects from one or more unposed RGB images. Reconstructing general articulating object categories % has important applications, but is challenging since objects can have wide variation in shape, articulation, appearance and topology. We address this by building on the idea of category-level articulation canonicalization -- mapping observations to a canonical articulation which enables correspondence-free multiview aggregation. Our end-to-end trainable neural network estimates feature-enriched canonical 3D point clouds, articulation joints, and part segmentation from one or more unposed images of an object. These intermediate estimates are used to generate a final implicit 3D reconstruction.Our approach reconstructs objects even when they are observed in different articulations in images with large baselines, and animation of reconstructed shapes. Quantitative and qualitative evaluations on different object categories show that our method is able to achieve high reconstruction accuracy, especially as more views are added.

研究动机与目标

• 解决从稀疏、未标定的 RGB 图像中重建此前未见过的关节物体 3D 形状的挑战。
• 通过学习类别级先验知识，克服不同视角间形状和关节结构的差异。
• 通过将观测结果 canonicalization 到共享的姿态空间，实现关节物体的无需对应关系的多视角聚合。
• 在无需类别特定模板的情况下，生成连续、可动画化的隐式 3D 重建结果。
• 在推理时支持对物体在任意关节构型下的重建与重定位。

提出的方法

• 利用大规模合成数据集（SAPIEN 和 Shape2Motion），包含超过 12 万个视角，训练神经网络以学习类别级形状先验。
• 使用关节 canonicalization 将多样的输入姿态映射到 canonical 3D 空间，实现在无需对应匹配情况下的稳定多视角融合。
• 端到端训练神经网络以从未标定的 RGB 图像中预测：(1) 富含特征的 canonical 3D 点云，(2) 关节位置与朝向，(3) 部件分割。
• 应用一致性损失以正则化多视角下的 canonical 重建，提升几何保真度。
• 通过提升的 3D 点传播局部图像特征，增强重建精度。
• 利用 canonical 点云和关节预测结果驱动神经隐式函数网络，生成平滑、连续的 3D 形状。

实验结果

研究问题

• RQ1 深度学习模型能否从单张或少数张未标定的 RGB 图像中重建出高质量、可动画化的关节物体 3D 形状？
• RQ2 关节 canonicalization 在实现关节物体的无需对应关系的多视角聚合方面有多高效，尤其在不同姿态下？
• RQ3 在缺乏真实对应关系的情况下，关节预测和部件分割在多大程度上提升了 3D 重建精度？
• RQ4 该模型能否泛化到类别中此前未见过的实例，并支持在任意构型下的重定位？
• RQ5 在多视角重建设置中，随着输入视角数量的增加，性能如何变化？

主要发现

• StrobeNet 在 Chamfer Distance (CD) 和 Intersection over Union (IoU) 上显著优于刚性多视角聚合基线方法（如 OccNet-F），尤其在增加视角数量时优势更明显。
• 在新创建的包含三个关节类别（眼镜、笔记本电脑、烤箱）的数据集上，StrobeNet 实现了平均 CD 为 1.25 和平均 IoU 为 54.84，表明重建精度很高。
• 消融实验表明，一致性损失和局部特征传播均至关重要：移除任一因素会使 CD 增加 0.19–0.75，IoU 下降 3–6 个百分点。
• 随着输入视角数量的增加，重建质量持续提升，即使仅用两张视图进行训练，也表现出对更大输入集的强大泛化能力。
• 该方法成功生成了可动画化的 3D 模型，可被重定位至任意构型，点云和网格均得到验证。
• 尽管输入姿态重建误差较高（由于姿态不匹配），canonical 重建仍能保留精细细节，表明对小姿态误差具有鲁棒性。